ИИ-агенты в браузере: кто сёрфит ваш сайт в 2026
Сентябрь 2026.
Раздел практики: SEO и ИИ · GEO и AEO.
Странная штука началась весной 2026. Открываю статистику — 47 визитов за месяц, user-agent содержит «Operator», но при этом Chrome 131. Сначала грешил на баг счётчика. Полез в логи — а там следы Anthropic Computer Use, причём по характерным задержкам между запросами (1.5–3 секунды, ровно время ответа модели) их видно. К сентябрю таких «невидимых посетителей» стало 120+.
Это не краулеры и не боты мониторинга. Это ИИ-агенты — программы, которым дают задачу, и они сами идут по сайтам: читают, сравнивают, заполняют формы. Cloudflare в Daemon Traffic Report (Q1 2026) пишет: доля нечеловеческого трафика — 12–18%. AI-агенты — самый быстрорастущий кусок этого пирога.
Год назад я бы сказал «ну, футуристическая тема, к вебмастеру не относится». Теперь — нет. Три вывода, до которых дошёл практически: агенты ломаются на тех же проблемах, что и скринридеры; протокол MCP (спецификация 2026-07-28) уже в продакшене; и большинство вебмастеров к этому не готовы — включая меня полгода назад.
Что такое ИИ-агенты и чем они отличаются от чат-ботов
Чат-бот отвечает на вопросы в диалоге. Агент — действует. Разница принципиальная: бот пассивен (ждёт вопрос), агент активен (получает цель и планирует шаги).
Типичный сценарий: пользователь говорит «Найди мне отель в Стамбуле на 3 ночи, дешевле $150, с рейтингом выше 8». Чат-бот выдаст список текстом. Агент — откроет Booking.com, применит фильтры, сравнит 5–10 вариантов, проверит отзывы, выберет лучший и предложит забронировать. Всё — без участия человека.
| Характеристика | Чат-бот | ИИ-агент |
|---|---|---|
| Режим работы | Вопрос → ответ | Цель → план → действия |
| Взаимодействие с сайтами | Не взаимодействует | Открывает, читает, кликает, заполняет |
| Количество шагов | Один ответ | Десятки шагов автономно |
| Принятие решений | Нет | Да: сравнение, выбор, действие |
| Пример | ChatGPT без browsing | OpenAI Operator, Anthropic Computer Use |
Для вебмастера это означает: на сайте появляется новый тип «посетителя», который читает HTML, нажимает кнопки и заполняет формы — но не видит страницу так, как человек. Агент работает с DOM-деревом, ARIA-атрибутами и текстовыми подсказками. Если сайт сломан для скринридеров — он сломан и для агента.
Ландшафт: кто уже сёрфит интернет
К сентябрю 2026 основные игроки:
- OpenAI Operator — браузерный агент от OpenAI. Запущен в январе 2025, использует собственные инструменты (browser-use) для навигации. Может работать с любыми сайтами: от бронирования столиков до заполнения налоговых форм. Работает через API — разработчики встраивают его в свои продукты.
- Anthropic Computer Use — API для управления компьютером через Claude. Агент видит экран, двигает мышь, печатает текст. Универсальный инструмент: может работать с любым GUI, не только браузером. Используется в корпоративных автоматизациях.
- Google Project Mariner — браузерный агент Google, тестировался с декабря 2024. Закрыт в мае 2026 — Google признала, что агент недостаточно надёжен для продакшена. Часть наработок перешла в Gemini.
- Cursor Agent — ИИ-агент в редакторе кода Cursor. Пишет, запускает и отлаживает код. Для вебмастера — может сам внести правки на сайт, если подключён к репозиторию.
- Devin (Cognition) — «ИИ-инженер». Может самостоятельно выполнять задачи: от написания фичи до деплоя. Работает в собственной среде с браузером, терминалом и редактором.
- MaxAI, Adept ACT-1 — браузерные расширения, которые добавляют агентные возможности прямо в Chrome. Пользователь даёт задачу — расширение выполняет на текущей странице.
Отдельная категория — агенты для покупок. В США уже работают сервисы вроде Commerce.AI и Orderly AI: агент пользователя сам находит товар, сравнивает цены и оформляет заказ. Для e-commerce это новый канал продаж — «агентная коммерция» (agentic commerce).
Почему Google убила Project Mariner
Google тестировала Mariner с декабря 2024 по май 2026. Публичный отчёт (Google Blog, май 2026) признал: агент «недостаточно надёжен для задач, требующих точности». Основные проблемы:
- Агент «терялся» на сложных сайтах с динамическим контентом.
- Не справлялся с CAPTCHA и многошаговой аутентификацией.
- Стоимость одного «прогона» (выполнения задачи) была слишком высокой из-за расхода токенов на обработку каждого шага.
Вывод для вебмастеров: если ваш сайт ломает даже агент Google — что будет с обычными пользователями? Доступность — это не только про людей.
Трафик от агентов: цифры и прогнозы
По данным Cloudflare (Daemon Traffic Report, Q1 2026) и Similarweb:
- Доля нечеловеческого трафика в интернете: 12–18% (включая краулеры, боты мониторинга, API-вызовы между сервисами).
- Трафик от AI-агентов — самый быстрорастущий сегмент нечеловеческого трафика: рост на 340% год к году (Q1 2025 → Q1 2026).
- Для B2B-сайтов доля агентного трафика уже достигает 5–8%.
Цифры с сайта (март–август 2026)
Сравнение за полгода — без прикрас:
| Тип трафика | Март 2026 | Август 2026 | Рост |
|---|---|---|---|
| Краулеры поисковиков (Googlebot, YandexBot) | 8% визитов | 7% визитов | Стабильно |
| AI-краулеры (GPTBot, PerplexityBot, ClaudeBot) | 2% визитов | 5% визитов | +150% |
| ИИ-агенты (Operator, Computer Use) | 0.3% визитов | 1.8% визитов | +500% |
| Боты мониторинга и API | 3% визитов | 3% визитов | Стабильно |
Агентный трафик — 1.8% от общего. Немного. Но рост на 500% за пять месяцев — это экспонента, а не случайность. И это только те, кого ловлю по user-agent. Computer Use с GUI маскируется под обычный браузер — их ещё больше, и я этого не вижу.
Прогнозы от Gartner, a16z и McKinsey (2026) — брать с осторожностью, но тренд понятный:
| Показатель | 2026 | 2028 (прогноз) |
|---|---|---|
| Доля агентного трафика (B2B) | 5–8% | 15–20% |
| Доля покупок через агентов (e-commerce) | 2–3% | 10–15% |
| AI-агентов на одного продавца (B2B) | — | 10:1 (Gartner) |
| Компании, использующие агентный ИИ | ~25% | 60% (Gartner) |
| Рынок AI-агентов | $18 млрд | $48 млрд (2027) |
Что это значит на практике: если у вас B2B-сайт с каталогом, 5–8% «посетителей» сейчас — это агенты. Они читают ваши страницы, сравнивают цены, проверяют наличие. Если сайт для них нечитаем — вы теряете этот трафик, даже не зная об этом.
Как агент «видит» ваш сайт
Агент не открывает Chrome и не смотрит на экран (если это не Computer Use с GUI). Большинство агентов работают одним из трёх способов:
- Через DOM-дерево — агент парсит HTML, извлекает текст, ссылки, формы. Работает как скринридер: читает структуру, а не картинку.
- Через компьютерное зрение — агент «смотрит» на скриншот страницы и понимает, где кнопки и поля. Медленнее, но работает с любыми сайтами, включая те, что рендерятся через JavaScript.
- Через API (MCP) — если у сайта есть MCP-сервер, агент обращается напрямую к API, минуя браузер. Самый быстрый и надёжный способ.
Для вебмастера важно: агент сталкивается с теми же проблемами, что и пользователь скринридера. Но есть отличия:
- Агент не ждёт анимацию — если элемент появляется через 2 секунды, агент может не дождаться.
- Агент не понимает «визуальные подсказки» без текстовой альтернативы (кнопка-иконка без aria-label — загадка).
- Агент не может пройти CAPTCHA без специального обхода (и это проблема).
- Агент работает медленнее человека: каждый шаг — запрос к модели, 1–3 секунды задержки.
Протокол MCP: «USB-порт» для ИИ-агентов
MCP (Model Context Protocol) — открытый стандарт от Anthropic (октябрь 2024, спецификация 2026-07-28 — release candidate). Решает ключевую проблему: как ИИ-агенту подключаться к любым сервисам, данным и инструментам без написания кастомного кода для каждого.
Аналогия: до USB каждое устройство имело свой кабель. MCP — это «USB-порт для ИИ»: единый протокол, через который агент подключается к Google Docs, базе данных, CRM, платёжной системе — чему угодно.
Как работает MCP
Архитектура: хост (ИИ-агент, например Claude или ChatGPT), клиент (подключение по протоколу) и серверы (адаптеры для конкретных сервисов).
Пример: пользователь говорит ChatGPT «Создай задачу в Jira: исправить баг на странице контактов». ChatGPT через MCP-клиент обращается к MCP-серверу Jira, который знает, как создать задачу. Никакого парсинга HTML, никаких эмуляций кликов — чистый API.
| Компонент | Роль | Пример |
|---|---|---|
| Хост | ИИ-система с MCP-клиентом | Claude, ChatGPT, Cursor |
| Клиент | Подключение по протоколу MCP | Встроен в хост |
| Сервер | Адаптер для внешнего сервиса | MCP-сервер для Jira, GitHub, Google Docs |
Статус MCP в сентябре 2026
- Спецификация 2026-07-28 — release candidate. Стабильна, готова к продакшену.
- Поддержка авторизации через OAuth 2.1 — серверы могут требовать аутентификацию.
- Удалённые серверы (Remote MCP) — работают по HTTP, не требуют локальной установки.
- Стриминг — сервер может отправлять данные частями, не дожидаясь полного ответа.
- Google, Microsoft, OpenAI — присоединились к работе над стандартом.
Для вебмастера MCP означает: если у вашего сайта есть MCP-сервер, любой ИИ-агент с MCP-клиентом может взаимодействовать с ним напрямую. Это быстрее, надёжнее и дешевле (в токенах), чем парсинг HTML.
Тест: MCP-сервер для bigfozzy.com
В июле 2026 я развернул простой MCP-сервер для bigfozzy.com — обёртка над RSS-лентой и поиском по статьям. Использовал официальный SDK от Anthropic (TypeScript, ~200 строк кода). Подключил к Claude Desktop — и получил возможность спрашивать: «Найди статьи про Core Web Vitals» или «Какая последняя статья про SEO и ИИ?» — без парсинга HTML.
Результат за 2 месяца:
- Claude обращался к MCP-серверу 34 раза (по внутренней статистике).
- Среднее время ответа: 0.8 секунды (vs 3.2 секунды при парсинге HTML).
- Ни одного сбоя (vs 12% ошибок при парсинге, когда менялась вёрстка).
Для контентного сайта MCP — это пока «nice to have». Но для e-commerce, SaaS и маркетплейсов — это следующий шаг после REST API.
Пример: интернет-магазин с MCP-сервером. Агент покупателя может: проверить наличие товара → узнать цену → оформить заказ → отследить доставку. Всё — через API, без открытия браузера.
Как подготовить сайт к ИИ-агентам: опыт bigfozzy.com
Большинство действий — это улучшение того, что и так полезно для SEO и доступности. Никакой «отдельной оптимизации под агентов» не нужно. Вот как я готовил bigfozzy.com — и сколько это заняло.
Понедельник: аудит доступности (2 часа)
Открыл Chrome DevTools → Lighthouse → Accessibility. Нашёл 23 проблемы: 14 картинок без alt, 6 кнопок-иконок без aria-label, 3 формы без label. Для агента (и скринридера) это значит: «здесь есть элемент, но я не понимаю, что он делает».
Исправил за вечер: добавил alt-тексты (ИИ сгенерировал черновики, я проверил — см. ИИ-изображения), обернул иконки в <button aria-label="...">, добавил <label> к полям форм.
Вторник: семантическая вёрстка (1.5 часа)
Нашёл 4 места, где кнопки были <div onclick="...">. Заменил на <button>. Проверил иерархию заголовков: на двух страницах <h3> шёл сразу после <h1> — поправил. Агент читает HTML как дерево: если структура сломана, он «теряется» так же, как скринридер.
Среда: обработка ошибок (1 час)
Проверил формы обратной связи: если сервер падал, форма возвращала 500 без сообщения. Агент застревал — не понимал, что делать. Добавил понятные HTTP-коды и JSON-ответы с описанием ошибки. Для обычных пользователей это тоже полезно: вместо «Ошибка» — «Неверный email, проверьте формат».
Четверг: robots.txt и AI-боты (30 минут)
Разрешил GPTBot, ChatGPT-User, PerplexityBot, ClaudeBot — см. GEO и AEO. Для агентов, которые работают через браузер (Operator, Computer Use), robots.txt не работает — они открывают сайт как обычные пользователи. Но для RAG-систем и краулеров разрешения важны.
Пятница: MCP-сервер (4 часа)
Развернул MCP-сервер для поиска и RSS (описал выше). Для контентного сайта — избыточно, но я тестировал для статьи. Для e-commerce — это must have: агент покупателя должен уметь проверить наличие, узнать цену и оформить заказ через API.
Итого: 10 часов за неделю
Результат — в таблице:
| Действие | Время | Эффект для агентов | Побочный эффект для SEO |
|---|---|---|---|
| Alt-тексты и aria-label | 2 часа | Агент «видит» все элементы | Лучше индексация в Google Images |
| Семантическая вёрстка | 1.5 часа | Агент понимает структуру | Лучше краулинг, меньше ошибок |
| Обработка ошибок | 1 час | Агент не застревает | Лучше поведенческие факторы |
| AI-боты в robots.txt | 30 мин | RAG-системы индексируют контент | Попадание в AI Overviews |
| MCP-сервер | 4 часа | Прямое взаимодействие | Пока — эксперимент |
Парсинг vs API vs MCP: как агент взаимодействует с сайтом
Три уровня взаимодействия — от хрупкого к надёжному:
| Способ | Как работает | Плюсы | Минусы |
|---|---|---|---|
| Парсинг HTML | Агент читает DOM, извлекает данные из текста | Работает с любым сайтом | Хрупкий: сломается при изменении вёрстки; расходует токены |
| REST API | Агент обращается к API сайта напрямую | Надёжный, быстрый, меньше токенов | Нужно реализовать API |
| MCP-сервер | Агент подключается через стандартизированный протокол | Универсальный: любой MCP-клиент работает | Нужно развернуть MCP-сервер |
Сейчас большинство агентов работают через парсинг — потому что сайты не дают API. Но с распространением MCP ситуация изменится: сайты, которые предоставят MCP-серверы, получат преимущество — агенты будут выбирать их, потому что взаимодействие быстрее и надёжнее.
Это аналог того, как в 2010-х сайты с API (Twitter, Facebook) получили больше интеграций, чем сайты без API. Только теперь интеграции делают не люди, а агенты — и им всё равно, красив ли ваш дизайн. Им важна структура данных.
Что нельзя автоматизировать: CAPTCHA, 2FA и тупики для агентов
Есть задачи, которые агент пока не может решить без помощи человека:
- CAPTCHA. Даже ИИ-агенты не проходят CAPTCHA надёжно. Если на сайте CAPTCHA на каждом шагу — агент застрянет. Решение: hCaptcha или Cloudflare Turnstile (поведенческая проверка, не картинки).
- Двухфакторная аутентификация (2FA). Агент не может получить SMS или код из приложения. Если для оформления заказа нужна 2FA — агент не справится. Решение: для API-взаимодействия — токены или OAuth, без 2FA на каждый запрос.
- Платежи с 3-D Secure. Агент не может подтвердить платёж в приложении банка. Решение: для агентных покупок — токенизация или оплата через API (как Apple Pay / Google Pay, но для агентов).
- Голосовые подтверждения. Некоторые сервисы требуют голосового звонка для верификации. Агент не может ответить на звонок. Решение: альтернативные методы верификации (email, токен).
Вывод: если на сайте есть критичный путь (покупка, регистрация), который требует шагов, недоступных для агента, — этот путь нужно дублировать через API или упрощать.
Пример: оформление заказа с агентом и без
Сценарий: агент пользователя хочет купить товар в интернет-магазине.
Без оптимизации: агент находит товар → добавляет в корзину → переходит к оформлению → требует CAPTCHA → агент застревает → пользователь получает ошибку → идёт на другой сайт.
С оптимизацией: агент находит товар (семантическая вёрстка) → добавляет в корзину (кнопка с aria-label) → оформляет через API (MCP-сервер) → оплата через токен → готово. Пользователь получает уведомление: «Заказ оформлен».
Разница — в конверсии. Сайт с оптимизацией под агентов получает заказ. Сайт без — теряет.
Прогноз: что будет с агентным трафиком
Данные за полгода есть, а вот прогноз — штука неблагодарная. Попробую всё равно, но с оговоркой: в этой теме каждый месяц приносит сюрпризы, и мои предсказания через полгода могут выглядеть наивно.
Агентный трафик дорастёт до 5% к концу года. Сейчас 1.8%, рост не линейный, а экспоненциальный. Если OpenAI Operator станет доступнее (сейчас — только Pro-подписчикам), ускорится ещё.
MCP для e-commerce станет обязательным к 2027 — как REST API стал обязательным в 2010-х. Сайты без API просто будут терять агентных покупателей. У меня Claude обращался к MCP-серверу 34 раза за два месяца. Для контентного сайта — мелочь. Для магазина — оформленные заказы, которые ушли к конкурентам.
Появится «агентное SEO». Уже сейчас я трачу время на семантическую вёрстку и alt-тексты — и это, по сути, подготовка к агентному трафику. Через год это станет стандартным пунктом аудита, как PageSpeed.
Аналитика научится сегментировать агентов. Сейчас в Метрике я вижу «Operator» в user-agent — но это костыль. К 2027 появятся нормальные метрики: «конверсия для агентов», «среднее время выполнения задачи». Странно это писать, но лет пять назад я не мог представить, что такое вообще понадобится.
CAPTCHA и 2FA — главный парадокс. Агентный трафик растёт, но агенты не проходят CAPTCHA. Сайты, которые защищаются от ботов, будут терять агентных покупателей. Решение — поведенческая проверка (Turnstile) или API (MCP), которое обходит браузер вовсе.
Для этого сайта агентный трафик — пока 1.8%. Но я готовлюсь к 5% к концу года и 15% к 2028. Те, кто подготовил сайт раньше, получают трафик, который конкуренты теряют. Банально, но работает.
- 1. Аудит доступности (a11y)→
- 2. Семантическая вёрстка и ARIA→
- 3. Текстовые альтернативы→
- 4. Разрешить AI-ботов в robots.txt→
- 5. MCP-сервер для ключевых операций→
- 6. Мониторинг агентного трафика
Пункты 1–4 — можно сделать за неделю. Пункты 5–6 — стратегическая работа на кварталы.
Что смотрю в агентном трафике
Раз в две недели открываю статистику и смотрю три вещи: долю агентного трафика, новые user-agent и поведение — какие страницы посещают, где застревают.
За последние два месяца — три наблюдения. Во-первых, агенты полюбили страницы с таблицами сравнения — видимо, используют для принятия решений. Во-вторых, появился «Mariner-Compat» — похоже, Google не полностью убила Project Mariner, а переделала в более узкий инструмент. В-третьих, MCP-сервер получает запросы не только от Claude — в логах видел user-agent, похожий на ChatGPT. OpenAI тоже тестирует MCP.
Из внешних источников — Cloudflare Daemon Report (ежеквартально) и спецификация MCP. Ещё — Google Search Central Blog: если Google анонсирует стандарт агентного взаимодействия (как robots.txt для краулеров), это перевернёт правила.
Если только начинаете разбираться с агентным трафиком, два материала в тему: SEO-аудит (доступность и семантика — база) и GEO-оптимизация (цитирование в ИИ-ответах).