Конструктор robots.txt

Настройте параметры — получите готовый robots.txt для вашего сайта.

Основные настройки

Добавить ссылку на Sitemap Добавить директиву Host (для Яндекс)

Закрыть от индексации

/admin/, /cp/, /panel/ Страницы поиска /?s=, /search /cart/, /checkout/, /order/ WordPress-служебные файлы (xmlrpc, readme) /images/ (если не нужна Google Images) Свой путь:

Задержка обхода

Добавить Crawl-delay для Яндекса

Гайд по robots.txt · SEO чек-лист

Конструктор robots.txt

Основные настройки

Закрыть от индексации

Задержка обхода

Ваш robots.txt: