В ноябре 2026 года агентство GUSAROV проверило сайты зоны .by, которые нейросети уже советуют клиентам. Выяснилась странная штука: примерно каждый девятый открывшийся сайт сам захлопывает дверь перед ИИ-ботами. Причём почти в девяти из десяти таких случаев владелец никого не банил. В браузере всё летает, robots.txt чистый, а хостинг или модуль защиты молча отгружают роботам ошибку доступа.
Почему закрытый сайт отдаёт горячих клиентов каталогам
Нейросети с поиском — ChatGPT, Claude, Perplexity, Google AI Overviews — отвечают не по памяти. Когда человек ищет подрядчика или курсы, система шлёт поискового бота на живые страницы, считывает свежие условия и собирает ответ со ссылками.
OpenAI прямо предупреждает: сайт, закрытый для OAI-SearchBot, не попадает в ответы поиска ChatGPT (кроме навигационных ссылок). У Anthropic то же предупреждение для Claude-SearchBot и Claude-User.
В исследовании GUSAROV нашёлся парадокс: закрытые сайты упоминают не реже открытых — медиана по базе равна 7 упоминаниям и у тех, и у других. ИИ всё равно узнаёт о компании из карт, рейтингов и каталогов. Беда в другом: цены и условия он тянет с чужих площадок, где данные легко протухают, а ссылку даёт на агрегатор — прямо к твоим конкурентам.
Поэтому важно считать две метрики отдельно: видимость бренда (сколько раз назвали) и видимость сайта (сколько раз дали ссылку). В кейсе школы EDUGUSAROV (edugusarov.by) 27 октября 2026 года бренд звучал в 56,1% ответов, а ссылка на сайт — только в 43,3% (в ChatGPT с поиском — 65%, в Claude — 30%, на первом месте в 76% упоминаний). Сайт был открыт изначально, но 21 сентября его упоминали лишь в 30% ответов на 37 вопросов о курсах: мешали три написания бренда, старый адрес в каталогах, отзывы в чужой карточке и нехватка страниц с ответами на частые вопросы. За пять недель бардак разгребли и вышли на 56% — первое место среди 131 бренда. Авторы честно оговариваются: 22 октября сменили методику (5 нейросетей с поиском вместо 7 платформ), а на одной методике цифры гуляют (54% → 55% → 56% → 50% к 9 ноября), так что смотреть нужно на серию замеров.
«Доступ ботов — это фундамент: пока он закрыт, всё остальное в продвижении в нейросетях работает вполсилы. Проверка занимает 15 минут, и её стоит сделать до любых других шагов». — Андрей Гусаров, соучредитель GUSAROV
Где прячется невидимая блокировка: хостинг, WAF и плагины
Коротко о терминах. robots.txt — файл в корне сайта с правилами входа (Allow/Disallow) для роботов. User-Agent — визитка, которой браузер или бот представляется серверу. WAF (Web Application Firewall) — защитный экран на хостинге, в Cloudflare или плагине CMS, который отсекает атаки и парсеров кодами 403 Forbidden («доступ запрещён») или 429 Too Many Requests («слишком много запросов») вместо 200 OK.
18 ноября 2026 года GUSAROV проверил 948 доменов .by (упомянутых нейросетями минимум трижды с августа по ноябрь) — каждый открывшийся сайт прогнали дважды с подписями браузера и ботов.
| Что проверяли на открывшихся сайтах | Сайтов | Доля |
|---|---|---|
| Главная страница открылась при проверке | 811 | 100% |
| Не пускает хотя бы одного ИИ-бота | 96 | 11,8% |
| Только защитой сайта или хостинга (403/429 при чистом robots.txt) | 84 | 10,4% |
| Только запретом в robots.txt | 5 | 0,6% |
| Одновременно и защитой, и robots.txt | 7 | 0,9% |
| Закрыт целиком в robots.txt от всех роботов, включая Google | 5 | 0,6% |
Намеренно ИИ-поиск почти не режут: из 765 сайтов с доступным robots.txt сознательно закрыли хотя бы одного поискового бота всего 12 компаний, а из 57 сайтов, упомянувших ИИ-ботов по имени, 34 прописали их ради разрешения.
Стена вырастает из трёх скрытых источников. Первый — общие правила хостинга: 23 сайта отдали Claude одну и ту же заглушку 403 Forbidden, ещё 21 вернул GPTBot другую штампованную страницу — почти все они размещены у нескольких локальных провайдеров. Второй — Cloudflare: 1 июля 2025 года в рамках Content Independence Day сервис перевёл новые домены на блокировку ИИ-краулеров по умолчанию. Третий — плагины безопасности CMS (WordPress и др.), которые режут незнакомых ботов автоматом.
Сколько сайтов из 811 режут ботов защитой (WAF и хостинг)
Бот Anthropic ловит отказы заметно чаще Perplexity, а краулер OpenAI держится между ними. Честная оговорка: запросы слали из-за пределов Беларуси, подставляя User-Agent, и проверяли только главную. Настоящие боты приходят со своих IP, так что точную картину дают только логи сервера.
Поисковый бот и бот обучения: кого пускать, а кого закрыть
Не обязательно резать всех ботов скопом из страха отдать тексты на обучение. У платформ разделены поисковые краулеры (дают ссылки), пользовательские агенты (открывают страницу по запросу человека) и боты обучения.
| Задача | OpenAI | Anthropic | Perplexity | Рекомендация |
|---|---|---|---|---|
| Поиск и ответы со ссылками | OAI-SearchBot | Claude-SearchBot | PerplexityBot | Открыть |
| Загрузка по запросу человека | ChatGPT-User | Claude-User | Perplexity-User | Открыть |
| Обучение базовых моделей | GPTBot | ClaudeBot | — | По решению бизнеса |
Настройки независимы: OpenAI разрешает открыть OAI-SearchBot и закрыть GPTBot (плюс у них есть OAI-AdsBot для проверки рекламы). PerplexityBot не учит базовые модели и применяет правки robots.txt за 24 часа. Anthropic понимает директиву Crawl-delay (например, Crawl-delay: 1), чтобы снизить нагрузку без бана. Рабочий блок для robots.txt:
# Открываем поисковых и пользовательских ботов ИИ
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Продублируйте закрытые разделы из User-agent: *
Disallow: /cart/
Disallow: /account/
# Закрываем ботов обучения моделей
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /
Такая запись пускает роботов, которые приводят трафик и ссылки, и вежливо закрывает дверь перед сборщиками данных для обучения будущих моделей.
Блок для конкретного бота полностью заменяет для него общие правила User-agent: *. Если дать Allow: / поисковым ИИ-ботам и забыть перенести туда Disallow для корзины и личного кабинета, они получат доступ к служебным страницам.
Диагностика за 15 минут и три тихие помехи
Проверить сайт можно самому без доступа к хостингу — через curl в «Терминале» (macOS/Linux) или cmd (Windows 10/11). Замени example.by на свой домен:
# 1. Код ответа: 200 — пускает, 403/429 — режет защита
curl -s -o /dev/null -w "%{http_code}\n" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "GPTBot/1.2" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "OAI-SearchBot/1.0" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "ClaudeBot/1.0" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "PerplexityBot/1.0" https://example.by/
# 2. Содержимое robots.txt
curl -s https://example.by/robots.txt
Обычный запрос дал 200, а бот поймал 403 или 429 — сработала скрытая защита. Дальше разработчик смотрит реальные визиты в логах nginx:
# Коды ответа nginx для ИИ-ботов (формат лога по умолчанию)
grep -E "OAI-SearchBot|ChatGPT-User|GPTBot|Claude|PerplexityBot" \
/var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c
# Число запросов от каждого бота
grep -oE "OAI-SearchBot|ChatGPT-User|GPTBot|Claude|PerplexityBot" \
/var/log/nginx/access.log | sort | uniq -c
Много 403/429 — правим защиту; ботов нет вовсе — их режет внешний WAF до сервера. Пускать ботов нужно по официальным JSON-спискам IP, а не по подделываемому User-Agent: openai.com/searchbot.json, openai.com/chatgpt-user.json, perplexity.ai/perplexitybot.json, perplexity-user.json, claude.com/crawling/bots.json. И не бань Anthropic по IP на файрволе — иначе бот не сможет даже прочитать твой отказ в robots.txt.
Заодно проверь три тихие помехи из аудита. Геоблок: 137 из 948 сайтов не открылись из-за рубежа (58 отказали даже браузеру, 48 не ответили) — добавь официальные IP ботов в исключения. JS-рендеринг: по замерам Vercel и MERJ (декабрь 2024), основные ИИ-боты не выполняют JavaScript и видят только исходный HTML; при медиане 9 417 знаков 45 сайтов (5,5%) отдавали меньше 500 знаков. Забытый Disallow: /: пять сайтов закрыли от всех, включая Google, ещё со времён тестового стенда. А на llms.txt время не трать: Google его не использует, и ни одна крупная нейросеть не подтвердила его чтение.
Чек-лист диагностики за 15 минут
- Прогнал главную через
curlдля браузера и четырёх ИИ-ботов — везде200. - Проверил
robots.txt: нетDisallow: /для всех и нет запрета поисковых ИИ-ботов. - При
403/429уточнил правила у хостинга и проверил блокировку ИИ-ботов в Cloudflare или плагине CMS. - Развёл поиск и обучение в
robots.txt, продублировав запреты служебных разделов изUser-agent: *. - Передал разработчику JSON-списки IP для белого списка WAF и проверил текст в исходном HTML без JS.
- Через неделю проверил логи сервера: поисковые боты приходят и получают
200.







