Работаем с robots.txt
Обновлено в августе 2026.
Дальше по теме (2026): индексация · 404 и редиректы.
Disallow в robots.txt закрывает разделы от обхода. Не закрывайте нужные страницы «на всякий».
Примечание (2026): ниже — база. Сервисы сверяйте.
Примечание (2026): часть фактов и сервисов ниже относится к более раннему периоду. Базовые идеи сохраняют смысл; конкретные URL, цены и названия инструментов сверяйте с актуальными источниками.
Иногда, бывает необходимо скрыть от поисковых ботов те или иные страницы, находящиеся на сайте. К примеру, у вас имеется конфиденциальная информация, доступная только для ваших посетителей или же определенная часть страниц не нуждается в индексации, т.к. представлена в динамическом виде. Причин, по которым администратору сайта иногда приходится скрывать различные элементы от индексации, не так уж и мало.При решении такой проблемы можно воспользоваться файлом robot.txt.
Стандарт этого файла существует с 1996 года и, мягко выражаясь, устарел. Но, несмотря на это, им можно и даже нужно пользоваться. Разумеется, вы не защитите свой сайт от "невежливых" ботов, например тех, которые воруют контент и делают прочие пакости, но от некоторых роботов все же убережетесь.
Итак. Создаем файл robot.txt и приступаем к закрытию наших каталогов и страничек.
Имена самых известных ботов, пишутся так: Googlebot, StackRambler, msnbot, Aport, Yahoo! Slurp (соответственно, это боты Гугла, Рамблера, MSN, Апорта и Yahoo!).
С ботом Яндекса дела обстоят более запутанно, но основной индексирующий бот, это Yandex/1.01.001 (compatible; Win16; I). Более точная информация по конкретным ботам может быть найдена в сети за считанные минуты.
Сам файл robots.txt состоит из раздельных записей, где первая -указывает имя бота и пишется так:
User-agent:
после же двоеточия вписывается имя бота.
Вторая строка - это команда, запрещающая или разрешающая совершать этому боту определенные действия.
Допустим, мы хотим боту гугла запретить лазить по директории books. В этом случае, строка будет выглядеть следующим образом:
Disallow:/books/
Полностью запись, касающаяся директивы в отношении бота гугла, должна отображаться в таком виде:
User-agent:Googlebot
Disallow:/books/
Можно запретить боту индексировать определенные файлы в том или ином каталоге.
Для этого в Disallow: мы вписываем имя директории, а затем первые символы, с которых начинаются наши файлы.
Заметим, что удобное и всем привычное *. и расширение файла, в стандарте robots.txt запрещено.
Следовательно, наш запрет будет выглядеть так:
User-agent:Googlebot
Disallow:/books/op
(Все файлы, которые находятся в директории books и начинаются с букв "op" будут исключены из индексации гугловским ботом).
Иногда, может потребоваться запретить индексировать все, что находится на сайте и, причем, всем ботам сразу. Делается это тоже просто:
User-agent: *
Disallow: /
Звездочка, указывает, что это правило относится ко всем возможным ботам, а слеш после Disallow: - это блокирование всех директорий и файлов, находящихся на сервере.
См. также раздел: контент сайта.