robots.txt

Обновлено в августе 2026.

В 2026: после правок robots проверьте файл тестером в кабинетах и сверьте Sitemap-строку. Сценарии исключений: Вебмастер / GSC на практике.

Дальше по теме (2026): индексация: robots и sitemap · sitemap · 404 и редиректы.

User-agent и Disallow

robots.txt даёт рекомендации краулеру, а не гарантирует блокировку. Строка User-agent: * — базовое правило для большинства ботов.

Disallow закрывает пути; не используйте Disallow: / для всего сайта. См. Sitemap и поиск 2026.

Allow для CSS и JavaScript

Поисковики рендерят страницу со стилями. Блокировка /wp-includes/ или /assets/ ухудшает мобильную индексацию.

Добавьте Allow для нужных подпапок. Тест — кабинеты вебмастера.

Строка Sitemap

Sitemap: https://example.com/sitemap.xml указывает карту сайта. Допустимо несколько строк для index-sitemap.

Карту можно отправить вручную в GSC. Подробнее — XML Sitemap.

noindex и robots

meta noindex и Disallow — разные механизмы. Для служебных страниц чаще достаточно noindex без Disallow.

Если URL в Disallow, но есть внешние ссылки — может попасть в индекс. Meta-теги.

Типичные ошибки

• Disallow: / весь сайт
• robots не в корне
• Блок пагинации без canonical

Как тестировать

GSC robots tester и анализ в Яндекс.Вебмастере. Сверьте с чек-листом.

Храните robots в git: при сбросе CMS легче восстановить версию.

Краулинговый бюджет

Не тратьте бюджет на фильтры с низким трафиком. Приоритет — категории и гайды.

Пример минимального robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Crawl-delay и специфичные боты

Crawl-delay поддерживается не всеми поисковиками; для Google лучше оптимизировать скорость сервера. Отдельные правила для Yandex, Googlebot, Bingbot — только если есть весомая причина.

Не блокируйте поисковые боты без анализа логов. Поиск 2026 описывает обход и бюджет краулера.

robots.txt при смене CMS

После миграции проверьте, не появили ли лишние Disallow от плагина SEO. WordPress часто оставляет /wp-admin/ — это норма, но Allow для admin-ajax.php важен.

Сохраните robots.txt в git и сверьте с sitemap после релиза. 301 не заменяет robots, но должен согласовывать с новыми URL.

Чек-лист robots.txt

1. Файл в корне сайта, код 200.
2. Sitemap указан.
3. CSS/JS не заблокированы.
4. Тест в кабинетах.

Мониторинг после изменений

После правки robots смотрите отчёт обхода в кабинетах 3–7 дней. Резкое падение покрытия может быть нормой переобходкой бюджета, но проверьте, не закрыли ли важные разделы случайно.

Держите журнал изменений: дата, что меняли, какие URL затронули. Поиск и meta-теги дополняют картину индексации вместе с robots.txt.

Связанные материалы

Sitemap → Поиск → Кабинеты.