ИИ-трафик: кто ходит на сайт и как это увидеть

Обновлено в ноябре 2026.

Раздел практики: SEO и ИИ · GEO и AEO · детекция ИИ-контента · ИИ-агенты в браузере.

7 ноября 2026 мы задали себе простой вопрос: пускаем ли мы ИИ-краулеры. В robots.txt bigfozzy.com шесть директив с Allow: / — GPTBot, ChatGPT-User, CCBot, YandexAdditional, Google-Extended, PerplexityBot. То есть сайт открыт. Мы отправили на прод 192 запроса двумя перемешанными сериями (по 8 на токен) и сравнили коды. Результат: 503 Service Temporarily Unavailable 25 раз, и все 25 пришлись на пять токенов — Amazonbot (8 отказов из 8, то есть всегда), GPTBot без URL в подписи (9 из 16), GPTBot (4 из 16), ChatGPT-User (2 из 8) и Claude-User (2 из 8). Googlebot, YandexBot, браузер, PerplexityBot и случайно выдуманный токен Nerandombot за те же прогоны не получили ни одного отказа.

Коротко: robots.txt — это просьба, а не пропуск. Реальность надо проверять тремя приборами: списком токенов (кто за что отвечает), живым запросом под этим токеном (доходит ли бот) и разбором лога (сколько раз дошёл за месяц). Ниже — таблицы токенов по официальной документации с датой сверки 07.11.2026, наш замер с командами воспроизведения и разбор логов, который мы сначала прогнали самотестом на синтетическом файле: наивный grep по строке завысил число обращений GPTBot вдвое.

Под «ИИ-трафиком» четыре разных потока

Слово «бот» в разговоре про ИИ склеивает четыре разных механизма. Разница между ними практическая: у каждого свой токен, свой документированный ответ на robots.txt и своя цена запрета. Если вы запретите «ИИ вообще», скорее всего вы запретите обучение и пропустите запросы пользователей — или наоборот.

Краулеры обучения и индекса: кого настраивать в robots.txt

Первая таблица — токены, которые ходят по сайту сами, без пользователя. Колонка «IP-список» важна: это единственный способ проверить, что за вашим User-Agent пришёл настоящий бот, а не кто-то, кто подделал строку. Публикуют такие списки не все; где списка нет — честное «не раскрыт» вместо выдуманного URL.

Сверка по первоисточникам сделана 07.11.2026. Даты обновления есть не везде: у Apple — 04.09.2026 и 09.09.2026, у Amazon — 26.10.2026, у страницы Anthropic в метаданных 04.11.2026; у OpenAI, Perplexity, Meta и Google страница справочника дату «обновлено» не показывает, поэтому ссылки ведут на рабочий документ, а не на архивную копию.

Фетчеры по запросу пользователя: robots.txt тут не аргумент

Эти обращения приходят, когда человек уже спросил ассистента про ваш сайт или про тему. Формулировки вендоров здесь заметно мягче: «правила robots.txt могут не применяться» у OpenAI, «как правило игнорируют robots.txt» у Google в списке user-triggered-фетчеров, «generally ignores robots.txt rules» у Perplexity. Значит, запрет в robots.txt от этих визитов вас не защитит — и одновременно не поможет попасть в ответ.

Отказ от обучения бывает токеном без User-Agent

Отдельный класс — директивы, у которых нет своего запроса. Вы не увидите их в логе как User-Agent, потому что это не краулер, а переключатель, который читается вместе с основным роботом.

Вместо них вчерашним «магическим» тегом тоже не обойтись: noai и nokb не документирует ни один из вендоров, чьи страницы мы читали 07.11.2026. Документированы — директивы robots.txt, контрольные токены выше и, у Google, meta-инструкции nosnippet и max-snippet:0: в справке о robots-тегах сказано, что они дополнительно мешают использовать страницу как прямой вход для AI Overviews и AI Mode. Развивается и машиночитаемый сигнал отказа: Anthropic с 30.10.2026 понимает черновик IETF aipref, Google обещает поддержку в начале 2027 года в форме user-agent: __usage_ai-training.

Allow в robots.txt не значит, что бота пускают: наш замер

Здесь и начинается то, чего нет в справочниках. Мы проверили собственный сайт — тем же способом, каким любой вебмастер может проверить свой за пять минут: GET-запрос с нужной строкой User-Agent. Ниже — контрольный прогон 07.11.2026: 16 токенов, по 8 запросов на токен, 192 запроса, порядок перемешан, пауза 700 мс, чтобы отказ нельзя было объяснить троттлингом по частоте. Прибор — node tools/ai-crawler-throttle-20261107.js 8 --families, вывод лежит в репозитории (docs/audit/evidence/_ai-crawler-throttle-run3-families-2026-11-07.txt), так что цифры можно перепроверить или переснять после починки.

Отказ приходит быстро — за 44–48 мс (в одном прогоне первый отказ тянул 292 мс), телом 207 байт («503 Service Temporarily Unavailable», сервер nginx-reuseport/1.21.1) и без заголовка Retry-After. Для краулера это не «занято, вернись позже», а молчаливый дроп: бот без политики повторов просто не заберёт страницу. При этом когда пускает — отдаёт ровно то же, что человеку: девять разных User-Agent на одной статье вернули 76 138 байт с одинаковой md5 8031e83e…, так что дело не в контенте и не в кеше версии страницы.

Важная деталь про метод: фильтр смотрит на строку User-Agent, а не на IP и не на «автоматичность» запроса. Случайный токен Nerandombot прошёл чисто, выдуманный Google-Other и реальный meta-externalagent — тоже, а GPTBot отбивался. И правило не одинаковое для разных токенов: Amazonbot отсекается детерминированно (8 из 8 — это уже не «иногда», а запрет), а краулеры OpenAI и Anthropic с признаком -User проходят выборочно. Отсюда два практических вывода. Первый: проверять надо свой лог, а не надеяться, что «раз разрешено, значит пускают». Второй: однодневный прогон не даёт устойчивой доли — в этот же день ClaudeBot в одном срезе получил отказы, а в контрольном (16 запросов) не получил ни одного; поэтому ниже в таблице стоит n, а не «в среднем по сайту».

# проверка «пускают ли нас» — код ответа под нужным User-Agent, 4 повтора
for i in 1 2 3 4; do
  curl -s -o /dev/null -w "%{http_code} " \
    -A "Mozilla/5.0 (compatible; GPTBot/1.1; +https://openai.com/gptbot)" \
    https://example.com/article.php
done
# ожидаемый здоровый вывод: 200 200 200 200 ; у нас в этот прогон: 200 503 200 503

# тот же токен на разных URL — чтобы отличить правило по UA от правила по странице
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; GPTBot/1.1)" https://example.com/robots.txt

Отбивалось у нас всё: главная, обе страницы из разных разделов, хаб и даже сам robots.txt — 9 отказов из 20. То есть OpenAI не может стабильно прочитать даже файл, в котором мы его приглашаем. Проверка лежит в репозитории как инструмент: node tools/ai-crawler-throttle-20261107.js 8 --scope, дампы прогонов — в docs/audit/evidence/_ai-crawler-throttle-run1-2026-11-07.txt и …run2-scope-2026-11-07.txt.

Заодно снимем два бытовых заблуждения. Первое: «у меня же отдаётся 200 из браузера — значит боты проходят». Нет: вы смотрите на одно поле из шести. Второе: «robots.txt — забор». Это список правил для тех, кто согласен их читать; фетчеры по запросу пользователя, как видно из таблиц, заранее оговаривают, что могут не читать.

Где физически смотреть обращения

Классика — свой access_log. На shared-хостинге его отдают панель (Apache/Nginx-лог в файловом менеджере, AWStats/Webalizer) или SSH; наружу он обычно закрыт. У нас, например, /logs/ и /logs/access_log отвечают 404, /awstats/, /cgi-bin/ и /cp/ — 403, поэтому вывод о краулерах мы строим не на веб-статистике, а на прямом замере кодов ответа.

Формат combined: хост - - [время] "запрос" "referer" "user-agent" код размер. Ключевое: User-Agent — это третье кавычкой поле, то есть $6 при разделителе-кавычке, а не конец строки. Считать надо по нему.

# ИИ-боты по полю User-Agent: longest-first, строка = одно обращение
awk -F'"' 'BEGIN{split("oai-searchbot yandexadditionalbot claude-searchbot chatgpt-user \
claudebot claude-user perplexitybot perplexity-user google-agent googleother googlebot \
applebot-extended applebot meta-externalagent meta-externalfetcher meta-webindexer \
mistralai-training mistralai-user amzn-searchbot amazonbot amzn-user duckassistbot \
yandexmobilebot yandexbot gptbot ccbot",T," ")}
{ua=tolower($6); for(i=1;i<=length(T);i++) if(index(ua,T[i])){print T[i]; next}}' \
access_log | sort | uniq -c | sort -rn

# одно обращение = один токен: «next» в awk ищет первое совпадение и переходит к следующей строке,
# поэтому GPTBot не считается дважды из-за «openai.com/gptbot» в той же строке

Почему не «grep по всей строке, проще же». Мы собрали синтетический лог из 15 строк с заведомым ответом и прогнали оба варианта. По полю UA — ровно 13 найденных токенов при 13 засинтетических, пропусков и лишнего нет. Наивный grep -ci по строке дал GPTBot 2 при одном реальном обращении и CCBot 2 при одном: токен залез в ?q=GPTBot+vs+CCBot+Amazonbot в URL запроса. Отдельно проверили старый шаблон «токен обязателен со слэшем» — он молча теряет ChatGPT-User, Claude-User, GoogleOther и (Applebot-Extended): у этих подписей в конце нет версии через косую черту, они стоят в хвосте строки или в скобках. Самотест прибора — node tools/ai-log-tally-20261107.js, вывод в docs/audit/evidence/_ai-log-tally-selftest-2026-11-07.txt.

Ещё одна грань: регистр и дефисы. В наших строках Meta пишет токены строчными (meta-externalagent/1.1), и вариант «Metawebindexer» без дефиса наш шаблон пропускает — дрейф написания в логах реален. Поэтому разбор идёт без учёта регистра (tolower), а список токенов стоит перечитать в справке вендора, когда в логе появляется ноль при живом интересе.

Рефералы: как увидеть человека, пришедшего из ассистента

Второй поток — не бот, а visitor. Он ничем не отличается от обычного перехода по ссылке, кроме поля Referer. Считается тем же разбором, только по четвёртому полю (второе кавычкой — Referer):

awk -F'"' '{print $4}' access_log \
 | grep -oiE '(chatgpt\.com|perplexity\.ai|claude\.ai|gemini\.google\.com|copilot\.microsoft\.com|meta\.ai|grok\.com|duck\.ai|chat\.deepseek\.com|notebooklm\.google\.com)' \
 | tr 'A-Z' 'a-z' | sort | uniq -c | sort -rn

Источник списка — публикуемый справочник Matomo AIAssistants.yml (прочитан 07.11.2026) и заметка Plausible об ИИ-рефералах; GA4 с 2025 года даёт канал «AI Assistants» с medium ai-assistant, но страница справки рендерится скриптами и полностью считалась только часть формулировки, поэтому в отчётах GA4 правило стоит перепроверить глазами. Честное ограничение по России: официального источника, какой Referer присылает Яндекс с ответами Алисы, найти не удалось — не подтверждаем и в таблицу не включаем. Вывод по этому разделу простой: ИИ-рефералов видно меньше, чем их есть, потому что часть ассистентов не добавляет Referer вообще.

Что выбрать: цена разрешения и цена запрета

Решение лежит в модели дохода: вас цитируют и вы получаете клик из ответа, либо вас не используют для обучения и вы теряете видимость. Полезно знать, как быстро решение вступает в силу — по официальным справкам:

• DuckDuckGo — применяет robots.txt в течение 72 часов, обучение для DuckAssistBot исключено самим вендором.
• Яндекс — чтобы контент не использовали в ИИ-ответах, нужно добавить запрет YandexAdditional или YandexAdditionalBot в robots.txt; эффект после переобхода — «обычно 2–14 дней». Выключателя в Вебмастере нет, и официального заявления о том, что контент сайта идёт в обучение моделей, мы не нашли.
• Amazon — кеширует robots.txt до 30 дней, то есть запрет подействует не сразу.
• OpenAI, Anthropic, Perplexity, Google — срок вступления директив в силу не заявлен; Anthropic при этом поддерживает Crawl-delay, которого нет в стандарте.

Что мы решили по своему сайту: убирать Allow из-за страха перед обучением бессмысленно ровно до тех пор, пока краулер не доходит до страницы. Сначала — починить 503, потом считать цитирования. Пока GPTBot получает отказ в 4 случаях из 10, правки под GEO/AEO на наших страницах дают ноль, и это тот случай, где сначала снимают блок, а не наращивают объём.

Проверить свой сайт за 15 минут

Ниже — набор действий, который закрывает тему без доступа к чужим платным «AI-видимостям». Порядок важен: сначала проверяем проходимость, потом считаем, потом решаем про запреты.

1. Откройте свой robots.txt и выпишите, какие ИИ-токены названы и с каким действием. Если их нет — действует User-agent: *, и надо понимать, что именно он разрешает.
2. Прогоните по 4 запроса с User-Agent каждого интересующего токена (команда выше). Ноль ошибок — пропускаете; есть 4xx/5xx — ищите правило на уровне хостинга, а не в коде сайта.
3. Сверьте, что бот настоящий: проверьте обратную DNS-запись источника (dig -x IP) и сверьтесь со списком IP вендора. Там, где списка нет, остаётся только reverse DNS — и это надо признать, а не выдавать за проверку.
4. Посчитайте за месяц по полю User-Agent, а не grep по строке. Разделите краулеров обучения, поисковых и пользовательских — у них разные выводы.
5. Отдельно посчитайте рефералы по $4: это ваш человеческий трафик из ассистентов, и он обычно меньше, чем кажется по скриншотам чужих отчётов.
6. Только после этого выбирайте Allow или Disallow — и проверяйте срок вступления (72 часа, 2–14 дней, до 30 дней в зависимости от вендора).

Чего в этом тексте нет и почему

Чтобы не плодить то, что и так не проверяется. Не подтверждено: официальное описание токена Bytespider (ByteDance) — страница bytedance.com/en/robots отдала 404 07.11.2026, поэтому токен в команду разбора не включён; токены cohere-training-data-crawler, Timpibot, IBM и Grok встречаются только в сторонних каталогах, а не в справках вендоров; даты обновления не показаны на страницах OpenAI, Perplexity, Meta и Google; точную строку User-Agent для CCBot Common Crawl не публикует (подтверждён только токен). Не подтверждается как рабочий механизм: теги noai и nokb — их нет ни в одной из прочитанных справок.

По теме: GEO и AEO: как попасть в ответы ИИ-поиска · ИИ-агенты в браузере · как поисковики определяют ИИ-контент · ИИ-аналитика трафика.

Ещё: SEO и ИИ: карта раздела · ИИ для техаудита и логов · взлом и малвара сайта · фильтры и риски SEO.