Иногда, бывает необходимо скрыть от поисковых ботов те или иные страницы, находящиеся на сайте. К примеру, у вас имеется конфиденциальная информация, доступная только для ваших посетителей или же определенная часть страниц не нуждается в индексации, т.к. представлена в динамическом виде. Причин, по которым администратору сайта иногда приходится скрывать различные элементы от индексации, не так уж и мало.
При решении такой проблемы можно воспользоваться файлом robot.txt.
Стандарт этого файла существует с 1996 года и, мягко выражаясь, устарел. Но, несмотря на это, им можно и даже нужно пользоваться. Разумеется, вы не защитите свой сайт от "невежливых" ботов, например тех, которые воруют контент и делают прочие пакости, но от некоторых роботов все же убережетесь.
Имена самых известных ботов, пишутся так: Googlebot, StackRambler, msnbot, Aport, Yahoo! Slurp (соответственно, это боты Гугла, Рамблера, MSN, Апорта и Yahoo!).
С ботом Яндекса дела обстоят более запутанно, но основной индексирующий бот, это
Yandex/1.01.001 (compatible; Win16; I). Более точная информация по конкретным ботам может быть найдена в сети за считанные минуты.
Сам файл robots.txt состоит из раздельных записей, где первая -указывает имя бота и пишется так:
User-agent:
после же двоеточия вписывается имя бота.
Вторая строка - это команда, запрещающая или разрешающая совершать этому боту определенные действия.
Допустим, мы хотим боту гугла запретить лазить по директории books. В этом случае, строка будет выглядеть следующим образом:
Disallow:/books/
Полностью запись, касающаяся директивы в отношении бота гугла, должна отображаться в таком виде:
User-agent:Googlebot
Disallow:/books/
Можно запретить боту индексировать определенные файлы в том или ином каталоге.
Для этого в Disallow: мы вписываем имя директории, а затем первые символы, с которых начинаются наши файлы.
Заметим, что удобное и всем привычное *. и расширение файла, в стандарте robots.txt запрещено.
Следовательно, наш запрет будет выглядеть так:
User-agent:Googlebot
Disallow:/books/op
(Все файлы, которые находятся в директории books и начинаются с букв "op" будут исключены из индексации гугловским ботом).
Иногда, может потребоваться запретить индексировать все, что находится на сайте и, причем, всем ботам сразу. Делается это тоже просто:
User-agent: *
Disallow: /
Звездочка, указывает, что это правило относится ко всем возможным ботам, а слеш после Disallow: - это блокирование всех директорий и файлов, находящихся на сервере.
Отсюда вполне легально можно брать статьи, пожалуйста, с указанием ссылки на источник :-)
(ссылка на тематический ресурс будет и вам полезна и нам будет приятно)
