Индексация: robots, sitemap и обход

Обновлено в августе 2026.

Индексация — попадание URL в базу поиска. Без индекса нет органики. В 2026 схема простая: открыть нужные страницы, закрыть служебные, отдать карту сайта и проверить кабинеты.

Связка: robots.txt · sitemap · кабинеты · поиск 2026.

Что должно быть в индексе

В индекс нужны страницы с ответом на запрос: главная, разделы, гайды, карточки услуг. Не нужны: корзина, личный кабинет, дубли с параметрами, черновики, технические фильтры без текста.

• Один канонический URL на документ
• Ответ 200 и нормальная скорость
• Внутренние ссылки с хабов
• Понятный title и H1

robots.txt по-простому

Файл в корне подсказывает краулеру, куда не ходить. Это не замена noindex. Минимальный пример:

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Не закрывайте CSS/JS для отрисовки. Не ставьте Disallow на весь сайт «на всякий случай». Подробности: гайд по robots.txt.

Sitemap

XML-карта — список важных канонических URL. Удалите 404 и редиректы из карты. Отправьте файл в Яндекс.Вебмастер и Google Search Console (консоль поиска). Гайд: sitemap.

Обход и «бюджет»

Малому сайту редко не хватает обхода. Мешают тысячи тонких дублей, бессмысленная пагинация и цепочки редиректов. Лучше 50 сильных URL, чем 500 пустых. Помогает перелинковка.

1. Уберите дубли (?utm, print, sort)
2. 301 на каноникал
3. Свяжите хабы с гайдами

Проверка в кабинетах

Раз в неделю: ошибки сканирования, исключённые страницы, покрытие. Если важный URL не индексируется — проверьте noindex, качество и ссылки. Чеклист кабинетов.

Диагностика «страница не в индексе»

1. Откройте URL без авторизации: код 200, не 302-петля.
2. Посмотрите исходник: нет ли meta robots noindex и X-Robots-Tag.
3. Проверьте, что страница есть в sitemap и доступна из меню/хаба.
4. Сравните текст с 2–3 «почти копиями» на сайте — объедините дубли.
5. Запросите переобход и подождите несколько дней, не сутки.

Если кабинеты молчат, а URL тонкий (пара абзацев без фактов) — сначала усильте страницу, потом снова просите индекс.

Частые ошибки

• Весь сайт в Disallow
• Sitemap со старыми 404
• noindex на нужных разделах после миграции
• HTTP/HTTPS и www без единого 301
• Разные URL одного текста без canonical

Мини-план на один день

1. Откройте robots.txt и sitemap в браузере
2. Проверьте 10 важных URL: код ответа и сниппет
3. Исправьте 2–3 дубля или 404 с трафиком
4. Запросите переобход

Связь с курсом

Индексация — база курса. Дальше контент и перелинковка. Базовый курс SEO · структура.

Связка с миграцией и HTTPS

После смены домена, CMS или включения HTTPS проверьте цепочку: старый URL — один 301 — каноникал. Двойные редиректы и смешанный контент тормозят переобход. Обновите sitemap на новые адреса и переотправьте карту в кабинетах. Пока идёт переезд, не закрывайте старые URL в robots — иначе поиск потеряет путь к 301.

Отдельно проверьте главное зеркало (www / без www). В кабинете должно быть одно предпочтительное зеркало, на сайте — единый 301. Иначе одна и та же статья живёт как два документа.