Cómo bloquear rastreadores de IA en robots.txt: cada user agent, qué cuesta y tres archivos para copiar

La respuesta corta

Cada gran empresa de IA usa user agents distintos para entrenar modelos, para su índice de búsqueda y para abrir páginas cuando un usuario se lo pide. Bloqueas o permites cada uno nombrándolo en robots.txt: User-agent: GPTBot seguido de Disallow: / le pide al rastreador de entrenamiento de OpenAI que no entre.

Bloquear un rastreador de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent) no tiene efecto documentado en la búsqueda. Bloquear uno de búsqueda o de usuario (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User) te saca de las respuestas citadas de ese asistente. Y robots.txt es una petición, no un candado: los rastreadores que cumplen lo respetan, algunos agentes de usuario dicen que quizá no, y solo una regla en tu CDN o firewall rechaza de verdad una solicitud. Si quieres que te encuentren clientes, permite los de búsqueda y los de usuario, y decide el entrenamiento por separado.

¿Bloquear GPTBot? Decide según para qué sirve cada bot

¿Entonces bloqueas GPTBot? Hazlo si no quieres que OpenAI entrene con tu contenido futuro: OpenAI dice que GPTBot y OAI-SearchBot son independientes, así que la búsqueda de ChatGPT te puede seguir mostrando. Si no te molesta, déjalo: ninguna empresa documenta un beneficio ni un costo en búsqueda.

Hay dos excepciones a esa separación. Google y Microsoft usan un solo rastreador para la búsqueda y sus funciones de IA (Googlebot, bingbot), y Applebot indexa para la búsqueda de Apple y además puede alimentar su entrenamiento. Para esos casos, la exclusión del entrenamiento es un token aparte o una etiqueta en la página.

Todos los user agents de IA, según la documentación de cada empresa

Leímos la página de cada empresa el 17 de octubre de 2026. La última columna dice lo que la propia empresa se compromete a hacer.

Los user agents se falsifican fácil. OpenAI, Anthropic, Perplexity, Apple, Amazon, DuckDuckGo y Common Crawl publican rangos de IP o nombres de DNS inverso para distinguir al rastreador real de un impostor en tus logs.

Copilot y Bing: no hay token de IA aparte

Microsoft no tiene un rastreador solo de IA para bloquear. Las directrices para webmasters de Bing dicen que Bing y Copilot comparten rastreo e índice, piden no bloquear Bingbot y llevan el control de IA a cada página: NOARCHIVE deja el contenido fuera de las respuestas de Copilot y del grounding, y NOCACHE limita a Copilot a la URL, el título y el fragmento. El anuncio de Bing de 2023 agrega que el contenido con NOARCHIVE no se usa para entrenar los modelos de Microsoft y sigue en los resultados de búsqueda. Cloudflare informa que Microsoft planea respetar una preferencia de "no entrenar" en robots.txt desde comienzos de 2027; Microsoft no lo ha documentado.

Google: Google-Extended no toca AI Overviews

Google-Extended controla el entrenamiento y el grounding de Gemini en Gemini Apps y Vertex AI, no la Búsqueda de Google. AI Overviews y AI Mode salen del índice de Googlebot. Para dejar un sitio fuera de ellos, Google ofrece el control de IA generativa en la Búsqueda de Search Console (disponible para todos los sitios desde el 31 de agosto de 2026; Google dice que no afecta el entrenamiento ni el posicionamiento en el resto de Search), además de nosnippet y noindex por página.

Cómo se interpretan las reglas (RFC 9309)

El protocolo de exclusión de robots es estándar del IETF desde septiembre de 2022, como RFC 9309. Las reglas que más confunden:

• Un grupo con nombre reemplaza al grupo *. Un rastreador obedece los grupos que lo nombran (sin importar mayúsculas, y fusionados si hay varios). Solo si ninguno lo nombra, usa *. Si tu grupo * bloquea /admin/ y agregas User-agent: GPTBot con Allow: /, GPTBot ya puede entrar a /admin/. Repite las reglas comunes en cada grupo con nombre.
• Un grupo puede nombrar varios rastreadores. Apila líneas User-agent sobre un mismo bloque de reglas, como en los archivos de abajo.
• Gana la regla más larga que coincide. Con Disallow: /blog/ y Allow: /blog/publico/, una página bajo /blog/publico/ queda permitida. Si un Allow y un Disallow empatan, debería ganar Allow.
• Un robots.txt con error bloquea todo. Si el archivo responde con un error 5xx, los rastreadores que cumplen deben asumir que todo está bloqueado; un 4xx les permite rastrear todo.
• Cada host tiene su archivo. tienda.example.com necesita su propio robots.txt; Anthropic y Amazon lo dicen expresamente.
• Los cambios no son inmediatos. El RFC dice que no se debe usar una copia guardada por más de 24 horas. OpenAI y Amazon hablan de unas 24 horas, Meta de hasta 24 y DuckDuckGo de 72.
• No es control de acceso. El RFC aclara que estas reglas no autorizan ni impiden el acceso, y listar una ruta en robots.txt la hace pública.

Crawl-delay no es parte del estándar: Anthropic y Common Crawl lo respetan; Apple y Amazon dicen que no.

robots.txt es una petición: los controles de Cloudflare

robots.txt expresa una preferencia. Un rastreador que la ignore, o un agente de usuario cuya empresa dice que robots.txt quizá no aplica, igual recibe tu página si nada la rechaza en el borde de la red. Anthropic advierte lo contrario también: bloquear sus IP puede impedirle leer tu robots.txt, así que para sus bots la exclusión documentada es el propio robots.txt.

Cloudflare, que dice gestionar el tráfico del 20 % de la web, ha cambiado sus valores por defecto varias veces:

• Septiembre de 2024: una opción de un clic para bloquear rastreadores de IA. Su comunicado de julio de 2025 dice que más de un millón de clientes la activaron.
• 1 de julio de 2025: cada dominio nuevo debe elegir al registrarse si permite rastreadores de IA, y nace pay per crawl: el rastreador indica que pagará o recibe un HTTP 402 con el precio, y Cloudflare actúa como comerciante registrado. Su documentación aún lo describe como beta cerrada.
• 1 de julio de 2026: controles separados de búsqueda, agente y entrenamiento para todos los planes, incluido el gratuito (registro de cambios).
• Agosto de 2026: Bot Preference Sync escribe esas elecciones al inicio de tu robots.txt, activado por defecto para clientes nuevos.
• 15 de septiembre de 2026: una opción nueva, "Disallow AI Training", y un cambio con consecuencias en búsqueda. El anuncio de Cloudflare dice que Block y "Block on pages with ads" ahora aplican a los rastreadores mixtos, incluidos Applebot, Bingbot y Googlebot, así que cualquiera de las dos en Entrenamiento también les impide rastrear para la búsqueda.

Ese último cambio es el que conviene revisar hoy. En Cloudflare, "bloquear GPTBot" significa poner Entrenamiento en Disallow AI Training: según Cloudflare, bloquea en el borde los rastreadores solo de entrenamiento, como los de OpenAI, Anthropic, Meta y Amazon, publica la preferencia en robots.txt y deja a Googlebot, Bingbot y Applebot rastreando para la búsqueda. Elegir Block en Entrenamiento ahora frena a Googlebot por completo. Cloudflare reporta que menos del 1 % de sus sitios bloquea bots de búsqueda y que el 17 % bloquea el entrenamiento de alguna forma.

Tres archivos robots.txt para copiar

Cambia la URL del sitemap y mantén en cada grupo las reglas que ya tengas para rutas privadas (ver la primera regla de la sección anterior).

1. Permitir todos los rastreadores

Para la mayoría de las empresas que quieren ser encontradas y citadas.

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

2. Permitir búsqueda y visitas de usuarios, bloquear entrenamiento

Los rastreadores de búsqueda y los agentes de usuario caen en * y siguen permitidos; los de entrenamiento y los tokens de control quedan fuera.

# Rastreadores y tokens de entrenamiento
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /

# Todos los demás, incluidos buscadores y agentes de usuario
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Dos decisiones de criterio en esa lista. Amazon dice que Amazonbot mejora sus productos y puede entrenar sus modelos; su rastreador de búsqueda, Amzn-SearchBot, sigue permitido. La página de Common Crawl no menciona IA, pero su archivo es abierto, así que incluye CCBot si no quieres tus páginas en un conjunto de datos público. Bing no tiene token de entrenamiento: agrega NOARCHIVE a las páginas que quieras fuera del entrenamiento de Microsoft y de Copilot.

Bancolombia publica una versión de esta política: su robots.txt, leído el 17 de octubre de 2026, abre con un bloque comentado como restricción de entrenamiento (GPTBot, Google-Extended, ClaudeBot, Applebot-Extended) y luego permite a OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User y Claude-User.

3. Bloquear la IA, conservar la búsqueda de Google y Bing

Rechaza los rastreadores de entrenamiento, búsqueda y usuario de las empresas de IA y deja en paz a Googlebot, bingbot y Applebot.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Ten claro lo que cuesta: sales de la búsqueda de ChatGPT, de Claude, de Perplexity, de Meta AI y de las respuestas con IA de DuckDuckGo. No te saca de AI Overviews ni de Copilot, que usan los índices de Googlebot y Bing; para eso están el control de Search Console y NOARCHIVE. Y los agentes cuyas empresas dicen que robots.txt quizá no aplica (ChatGPT-User, Perplexity-User, meta-externalfetcher, Google-Agent) necesitan una regla en el borde si lo dices en serio.

Qué hacen los grandes medios en español: 9 archivos que leímos

El 17 de octubre de 2026 descargamos el robots.txt de nueve medios grandes en español: El Tiempo, El Espectador y Semana (Colombia), El Universal y Milenio (México), Clarín, La Nación e Infobae (Argentina) y El País (España). Evaluamos cada token para la página de inicio según el RFC 9309.

El contraste con los medios de Estados Unidos y el Reino Unido es fuerte: en diez de ellos que revisamos el mismo día, los diez bloquean ClaudeBot y seis bloquean GPTBot. En español, cinco de los nueve (El Espectador, Semana, Clarín, La Nación e Infobae) no bloquean ninguno de estos tokens. Tómalo como lo que recibe un cliente genérico: un sitio puede servir archivos distintos según quién pregunte, y los acuerdos de licencia no se ven en robots.txt.

Cómo probar tu robots.txt

1. Mira qué recibe cada rastreador. Nuestro verificador de visibilidad en IA, gratis, evalúa 26 rastreadores de IA según el RFC 9309, te muestra la línea que decide cada uno y prueba tu inicio y hasta 50 páginas de tu sitemap. También valida tu llms.txt.
2. Confirma que el archivo responde 200. Un robots.txt que devuelve error de servidor bloquea todo para los rastreadores que cumplen.
3. Revisa el borde. Lee la configuración de bots de tu CDN (en Cloudflare: Block o Disallow AI Training) y cualquier regla de firewall que filtre por user agent.
4. Lee tus logs. Busca los user agents de arriba y verifica sus IP contra las listas que publica cada empresa antes de confiar en el nombre.
5. Vuelve a revisar al día siguiente. OpenAI y Amazon hablan de unas 24 horas para aplicar un cambio; DuckDuckGo, de 72.

Que te permitan no es que te citen. Lo que hace que una página llegue a las respuestas de IA, una vez que los rastreadores pueden leerla, está en cómo aparecer en las respuestas de IA, y el resto de la preparación para agentes en sitio web preparado para agentes de IA.

Qué hacer ahora

Pasa tu dominio por el verificador de visibilidad en IA y compara su tabla de rastreadores con la política que querías tener. Si prefieres que configuremos las reglas, las probemos en tu CDN y sigamos dónde te citan las respuestas de IA, eso es parte de nuestro servicio de SEO para IA, con auditorías desde USD 690 en nuestra página de precios.