К содержанию
SEO и вебмастерство
Меню сайта

robots.txt


robots.txt

Обновлено в августе 2026.

robots.txt — минимум
  • User-agent: * и точечный DisallowПроверка: файл /robots.txt
  • Allow для CSS/JSПроверка: доступ к статике не закрыт
  • Строка Sitemap на местеПроверка: Sitemap: с полным URL
  • Файл в корне, код 200Проверка: /robots.txt отвечает 200
  • Тест в кабинетахПроверка: раздел проверки в ЯВ и GC

Сделайте сегодня: Откройте /robots.txt и убедитесь, что нужные разделы не закрыты и есть строка Sitemap.

Курс: вернуться к уроку · все уроки.

В 2026: после правок robots проверьте файл тестером в кабинетах и сверьте Sitemap-строку. Сценарии исключений: Вебмастер / GSC на практике.

Дальше по теме (2026): индексация: robots и sitemap · sitemap · 404 и редиректы.

User-agent и Disallow

robots.txt даёт рекомендации краулеру, а не гарантирует блокировку. Строка User-agent: * — базовое правило для большинства ботов.

Disallow закрывает пути; не используйте Disallow: / для всего сайта. См. Sitemap и поиск 2026.

Allow для CSS и JavaScript

Поисковики рендерят страницу со стилями. Блокировка /wp-includes/ или /assets/ ухудшает мобильную индексацию.

Добавьте Allow для нужных подпапок. Тест — кабинеты вебмастера.

Строка Sitemap

Sitemap: https://example.com/sitemap.xml указывает карту сайта. Допустимо несколько строк для index-sitemap.

Карту можно отправить вручную в GSC. Подробнее — XML Sitemap.

noindex и robots

meta noindex и Disallow — разные механизмы. Для служебных страниц чаще достаточно noindex без Disallow.

Если URL в Disallow, но есть внешние ссылки — может попасть в индекс. Meta-теги.

Типичные ошибки

  • Disallow: / весь сайт
  • robots не в корне
  • Блок пагинации без canonical

Как тестировать

GSC robots tester и анализ в Яндекс.Вебмастере. Сверьте с чек-листом.

Храните robots в git: при сбросе CMS легче восстановить версию.

Краулинговый бюджет

Не тратьте бюджет на фильтры с низким трафиком. Приоритет — категории и гайды.

Перелинковка помогает роботу при ограниченном бюджете.

Пример минимального robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php


Sitemap: https://example.com/sitemap.xml

Crawl-delay и специфичные боты

Crawl-delay поддерживается не всеми поисковиками; для Google лучше оптимизировать скорость сервера. Отдельные правила для Yandex, Googlebot, Bingbot — только если есть весомая причина.

Не блокируйте поисковые боты без анализа логов. Поиск 2026 описывает обход и бюджет краулера.

robots.txt при смене CMS

После миграции проверьте, не появили ли лишние Disallow от плагина SEO. WordPress часто оставляет /wp-admin/ — это норма, но Allow для admin-ajax.php важен.

Сохраните robots.txt в git и сверьте с sitemap после релиза. 301 не заменяет robots, но должен согласовывать с новыми URL.

Чек-лист robots.txt

  1. Файл в корне сайта, код 200.
  2. Sitemap указан.
  3. CSS/JS не заблокированы.
  4. Тест в кабинетах.

Мониторинг после изменений

После правки robots смотрите отчёт обхода в кабинетах 3–7 дней. Резкое падение покрытия может быть нормой переобходкой бюджета, но проверьте, не закрыли ли важные разделы случайно.

Держите журнал изменений: дата, что меняли, какие URL затронули. Поиск и meta-теги дополняют картину индексации вместе с robots.txt.

Связанные материалы

Sitemap → Поиск → Кабинеты.