En noviembre de 2026, la agencia GUSAROV analizó los sitios de la zona .by que las IA ya recomiendan a los clientes. Descubrieron algo curioso: aproximadamente uno de cada nueve sitios activos le cierra la puerta a los bots de IA. Además, en casi nueve de cada diez casos el propietario no bloqueó a nadie. En el navegador todo funciona rápido y robots.txt está limpio, pero el hosting o el módulo de seguridad devuelven un error de acceso a los robots en silencio.
Por qué un sitio bloqueado regala clientes listos para comprar a los directorios
Las IA con búsqueda integrada (ChatGPT, Claude, Perplexity, Google AI Overviews) no responden de memoria. Cuando una persona busca un proveedor o un curso, el sistema envía un bot de búsqueda a las páginas en vivo, lee las condiciones actualizadas y arma una respuesta con enlaces.
OpenAI advierte directamente que un sitio cerrado para OAI-SearchBot no aparece en las respuestas de búsqueda de ChatGPT (salvo enlaces de navegación). Anthropic hace la misma advertencia para Claude-SearchBot y Claude-User.
El estudio de GUSAROV reveló una paradoja: los sitios bloqueados son mencionados con la misma frecuencia que los abiertos (la mediana en la base de datos es de 7 menciones para ambos grupos). La IA igual se entera de la empresa a través de mapas, rankings y directorios. El problema es otro: toma los precios y las condiciones de plataformas ajenas donde los datos caducan rápido, y pone el enlace hacia el agregador, directo a tus competidores.
Por eso conviene medir dos métricas por separado: visibilidad de marca (cuántas veces te nombran) y visibilidad del sitio (cuántas veces ponen tu enlace). En el caso de la escuela EDUGUSAROV (edugusarov.by), el 27 de octubre de 2026 la marca apareció en el 56.1% de las respuestas, pero el enlace al sitio solo en el 43.3% (en ChatGPT con búsqueda fue 65%, en Claude 30%, y en primer lugar en el 76% de las menciones). El sitio estuvo abierto desde el principio, pero el 21 de septiembre solo lo mencionaban en el 30% de las respuestas a 37 preguntas sobre cursos: estorbaban tres formas distintas de escribir la marca, una dirección antigua en directorios, reseñas en una ficha ajena y la falta de páginas con respuestas a preguntas frecuentes. En cinco semanas ordenaron ese caos y subieron al 56%, el primer puesto entre 131 marcas. Los autores aclaran con honestidad que el 22 de octubre cambiaron la metodología (5 IA con búsqueda en lugar de 7 plataformas) y que con una misma metodología las cifras fluctúan (54% → 55% → 56% → 50% al 9 de noviembre), así que hay que observar la serie completa de mediciones.
«El acceso de los bots es la base: mientras esté cerrado, todo lo demás en el posicionamiento en IA funciona a medias. La revisión toma 15 minutos y vale la pena hacerla antes de dar cualquier otro paso». Andrei Gusarov, cofundador de GUSAROV.
Dónde se esconde el bloqueo invisible: hosting, WAF y plugins
Un repaso rápido de términos. robots.txt es el archivo en la raíz del sitio con reglas de acceso (Allow/Disallow) para los robots. User-Agent es la tarjeta de presentación con la que un navegador o bot se identifica ante el servidor. WAF (Web Application Firewall) es el escudo de seguridad en el hosting, Cloudflare o un plugin del CMS que filtra ataques y scrapers con códigos 403 Forbidden (acceso prohibido) o 429 Too Many Requests (demasiadas solicitudes) en vez de 200 OK.
El 18 de noviembre de 2026, GUSAROV analizó 948 dominios .by (mencionados por las IA al menos tres veces entre agosto y noviembre). Cada sitio que abrió fue probado dos veces con firmas de navegador y de bots.
| Qué se comprobó en los sitios activos | Sitios | Proporción |
|---|---|---|
| La página principal abrió durante la prueba | 811 | 100% |
| Bloquea al menos a un bot de IA | 96 | 11.8% |
| Solo por protección del sitio o hosting (403/429 con robots.txt limpio) | 84 | 10.4% |
| Solo por prohibición en robots.txt | 5 | 0.6% |
| Por protección y robots.txt al mismo tiempo | 7 | 0.9% |
| Cerrado por completo en robots.txt para todos los bots, incluido Google | 5 | 0.6% |
Casi nadie bloquea la búsqueda con IA a propósito: de 765 sitios con robots.txt accesible, solo 12 empresas cerraron intencionalmente al menos a un bot de búsqueda, y de 57 sitios que mencionaron bots de IA por nombre, 34 los incluyeron para darles permiso.
El muro surge de tres fuentes ocultas. La primera son las reglas generales del hosting: 23 sitios le devolvieron a Claude exactamente la misma página genérica de 403 Forbidden, y otros 21 le mostraron a GPTBot otra pantalla estándar; casi todos están alojados en unos pocos proveedores locales. La segunda es Cloudflare: el 1 de julio de 2025, en el marco del Content Independence Day, el servicio activó por defecto el bloqueo de rastreadores de IA para los dominios nuevos. La tercera son los plugins de seguridad del CMS (WordPress y otros), que cortan automáticamente a los bots desconocidos.
Cuántos sitios de 811 bloquean bots mediante protección (WAF y hosting)
El bot de Anthropic recibe rechazos con mucha más frecuencia que Perplexity, mientras que el rastreador de OpenAI queda en medio. Una aclaración honesta: las solicitudes se enviaron desde fuera de Bielorrusia suplantando el User-Agent y solo se probó la página de inicio. Los bots reales llegan desde sus propias IP, por lo que solo los registros del servidor muestran el panorama exacto.
Bot de búsqueda y bot de entrenamiento: a quién dejar pasar y a quién cerrar
No hace falta bloquear a todos los bots por miedo a regalar textos para entrenar modelos. Las plataformas separan los rastreadores de búsqueda (que generan enlaces), los agentes de usuario (que abren una página a pedido de una persona) y los bots de entrenamiento.
| Tarea | OpenAI | Anthropic | Perplexity | Recomendación |
|---|---|---|---|---|
| Búsqueda y respuestas con enlaces | OAI-SearchBot | Claude-SearchBot | PerplexityBot | Abrir |
| Carga bajo pedido del usuario | ChatGPT-User | Claude-User | Perplexity-User | Abrir |
| Entrenamiento de modelos base | GPTBot | ClaudeBot | — | Según decisión del negocio |
Los ajustes son independientes: OpenAI permite abrir OAI-SearchBot y cerrar GPTBot (además tiene OAI-AdsBot para revisar anuncios). PerplexityBot no entrena modelos base y aplica los cambios de robots.txt en 24 horas. Anthropic entiende la directiva Crawl-delay (por ejemplo, Crawl-delay: 1) para reducir la carga sin bloquearlo. Aquí tienes un bloque funcional para robots.txt:
# Abrimos los bots de búsqueda y de usuario de IA
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Duplica las secciones cerradas de User-agent: *
Disallow: /cart/
Disallow: /account/
# Cerramos los bots de entrenamiento de modelos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /
Esta regla deja entrar a los robots que traen tráfico y enlaces, y cierra con cortesía la puerta a quienes recolectan datos para entrenar modelos futuros.
Un bloque específico para un bot reemplaza por completo las reglas generales de User-agent: * para ese robot. Si pones Allow: / a los bots de búsqueda con IA y olvidas copiar ahí los Disallow del carrito y del área de cliente, tendrán acceso a las páginas de servicio.
Diagnóstico en 15 minutos y tres obstáculos silenciosos
Puedes revisar tu sitio tú mismo sin acceso al hosting, usando curl en la Terminal (macOS/Linux) o en cmd (Windows 10/11). Cambia example.by por tu dominio:
# 1. Código de respuesta: 200 permite paso, 403/429 corta la protección
curl -s -o /dev/null -w "%{http_code}\n" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "GPTBot/1.2" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "OAI-SearchBot/1.0" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "ClaudeBot/1.0" https://example.by/
curl -s -o /dev/null -w "%{http_code}\n" \
-A "PerplexityBot/1.0" https://example.by/
# 2. Contenido de robots.txt
curl -s https://example.by/robots.txt
Si una petición normal dio 200, pero el bot recibió 403 o 429, saltó una protección oculta. Luego el desarrollador revisa las visitas reales en los logs de nginx:
# Códigos de respuesta de nginx para bots de IA (formato de log por defecto)
grep -E "OAI-SearchBot|ChatGPT-User|GPTBot|Claude|PerplexityBot" \
/var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c
# Cantidad de peticiones de cada bot
grep -oE "OAI-SearchBot|ChatGPT-User|GPTBot|Claude|PerplexityBot" \
/var/log/nginx/access.log | sort | uniq -c
Si hay muchos 403/429, hay que ajustar la protección; si no hay bots en absoluto, los frena un WAF externo antes de llegar al servidor. Conviene autorizar a los bots usando las listas oficiales de IP en JSON y no el User-Agent falsificable: openai.com/searchbot.json, openai.com/chatgpt-user.json, perplexity.ai/perplexitybot.json, perplexity-user.json, claude.com/crawling/bots.json. Y no bloquees a Anthropic por IP en el firewall, porque el bot ni siquiera podrá leer tu rechazo en robots.txt.
Aprovecha para revisar tres obstáculos silenciosos de la auditoría. Bloqueo geográfico: 137 de 948 sitios no abrieron desde el extranjero (58 rechazaron incluso al navegador y 48 no respondieron); añade las IP oficiales de los bots a las excepciones. Renderizado con JS: según mediciones de Vercel y MERJ (diciembre de 2024), los principales bots de IA no ejecutan JavaScript y solo ven el HTML inicial; frente a una mediana de 9,417 caracteres, 45 sitios (5.5%) devolvían menos de 500. Un Disallow: / olvidado: cinco sitios estaban cerrados para todos, incluido Google, desde la época del entorno de pruebas. Y no pierdas tiempo con llms.txt: Google no lo usa y ninguna gran IA ha confirmado que lo lea.
Lista de verificación de diagnóstico en 15 minutos
- Probé la página principal con
curlpara el navegador y cuatro bots de IA, obteniendo200en todos. - Revisé
robots.txt: no hayDisallow: /global ni bloqueo a bots de búsqueda con IA. - Si apareció
403/429, consulté las reglas con el hosting y revisé el bloqueo de bots de IA en Cloudflare o el plugin del CMS. - Separé búsqueda y entrenamiento en
robots.txt, duplicando las exclusiones de rutas de servicio desdeUser-agent: *. - Entregué al desarrollador las listas JSON de IP para la lista blanca del WAF y verifiqué el texto en el HTML inicial sin JS.
- Una semana después revisé los logs del servidor: los bots de búsqueda entran y reciben
200.





