Como bloquear robôs de IA no robots.txt: cada user agent, o que custa bloquear e três arquivos para copiar

A resposta curta

Cada grande empresa de IA usa user agents diferentes para treinar modelos, para o índice de busca e para abrir páginas quando um usuário pede. Você bloqueia ou libera cada um citando o nome no robots.txt: User-agent: GPTBot seguido de Disallow: / pede ao robô de treinamento da OpenAI que não entre.

Bloquear um robô de treinamento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent) não tem efeito documentado na busca. Bloquear um de busca ou de usuário (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User) tira você das respostas com citação daquele assistente. E robots.txt é um pedido, não uma tranca: robôs que cumprem as regras obedecem, alguns agentes de usuário dizem que talvez não, e só uma regra no CDN ou no firewall recusa de fato a requisição. Se você quer ser encontrado por clientes, libere os robôs de busca e os de usuário e decida o treinamento à parte.

Bloquear o GPTBot? Decida pelo propósito de cada robô

Então, bloquear o GPTBot? Bloqueie se não quiser que a OpenAI treine com o seu conteúdo futuro: a OpenAI diz que GPTBot e OAI-SearchBot são independentes, então a busca do ChatGPT continua podendo mostrar você. Se não se importa, deixe liberado: nenhuma empresa documenta ganho ou perda na busca.

Duas exceções quebram essa separação. Google e Microsoft usam um único robô para a busca e para os recursos de IA (Googlebot, bingbot), e o Applebot indexa para a busca da Apple e também pode alimentar o treinamento. Nesses casos, a exclusão do treinamento é um token separado ou uma tag na página.

Todos os user agents de IA, pela documentação de cada empresa

Lemos a página de cada empresa em 17 de outubro de 2026. A última coluna diz o que a própria empresa se compromete a fazer.

User agents são fáceis de falsificar. OpenAI, Anthropic, Perplexity, Apple, Amazon, DuckDuckGo e Common Crawl publicam faixas de IP ou nomes de DNS reverso para separar o robô verdadeiro de um impostor nos seus logs.

Copilot e Bing: não existe token de IA separado

A Microsoft não tem um robô só de IA para bloquear. As diretrizes para webmasters do Bing dizem que Bing e Copilot compartilham rastreamento e índice, pedem para não bloquear o Bingbot e levam o controle de IA para cada página: NOARCHIVE tira o conteúdo das respostas do Copilot e do grounding, e NOCACHE limita o Copilot à URL, ao título e ao trecho. O anúncio do Bing de 2023 acrescenta que conteúdo com NOARCHIVE não treina os modelos da Microsoft e continua nos resultados de busca. A Cloudflare relata que a Microsoft pretende respeitar uma preferência de "não treinar" no robots.txt a partir do início de 2027; a Microsoft não documentou isso.

Google: o Google-Extended não mexe nos AI Overviews

O Google-Extended controla o treinamento e o grounding do Gemini no app Gemini e na Vertex AI, não a Busca do Google. AI Overviews e AI Mode vêm do índice do Googlebot. Para deixar um site fora deles, o Google oferece o controle de IA generativa da Busca no Search Console (disponível para todos os sites desde 31 de agosto de 2026; o Google diz que não afeta treinamento nem ranqueamento no restante da Busca), além de nosnippet e noindex por página.

Como as regras são interpretadas (RFC 9309)

O protocolo de exclusão de robôs é padrão do IETF desde setembro de 2022, como RFC 9309. As regras que mais confundem:

• Um grupo com nome substitui o grupo *. O robô obedece aos grupos que citam o nome dele (sem diferenciar maiúsculas, e somados se houver vários). Só se nenhum o citar ele usa o *. Se o seu grupo * bloqueia /admin/ e você acrescenta User-agent: GPTBot com Allow: /, o GPTBot passa a poder entrar em /admin/. Repita as regras comuns em cada grupo com nome.
• Um grupo pode citar vários robôs. Empilhe linhas User-agent sobre o mesmo bloco de regras, como nos arquivos abaixo.
• Vence a regra mais longa que combina. Com Disallow: /blog/ e Allow: /blog/publico/, uma página em /blog/publico/ fica liberada. Se um Allow e um Disallow empatam, o Allow deve vencer.
• Um robots.txt com erro bloqueia tudo. Se o arquivo responde com erro 5xx, os robôs que cumprem as regras devem assumir bloqueio total; um 4xx libera tudo.
• Cada host tem o seu arquivo. loja.example.com.br precisa do próprio robots.txt; Anthropic e Amazon dizem isso com todas as letras.
• As mudanças não são imediatas. O RFC diz que não se deve usar uma cópia guardada por mais de 24 horas. OpenAI e Amazon falam em cerca de 24 horas, a Meta em até 24 e o DuckDuckGo em 72.
• Não é controle de acesso. O RFC deixa claro que essas regras não são autorização de acesso, e listar um caminho no robots.txt o torna público.

O Crawl-delay não faz parte do padrão: Anthropic e Common Crawl respeitam; Apple e Amazon dizem que não.

robots.txt é um pedido: os controles da Cloudflare

O robots.txt expressa uma preferência. Um robô que a ignore, ou um agente de usuário cuja empresa diz que o robots.txt talvez não se aplique, recebe a sua página mesmo assim se nada a recusar na borda da rede. A Anthropic avisa o contrário também: bloquear os IPs dela pode impedir a leitura do seu robots.txt, então, para os robôs dela, a exclusão documentada é o próprio robots.txt.

A Cloudflare, que diz gerenciar o tráfego de 20% da web, mudou os padrões várias vezes:

• Setembro de 2024: uma opção de um clique para bloquear robôs de IA. O comunicado de julho de 2025 diz que mais de um milhão de clientes a ativaram.
• 1º de julho de 2025: todo domínio novo passa a escolher no cadastro se libera robôs de IA, e surge o pay per crawl: o robô sinaliza que vai pagar ou recebe um HTTP 402 com o preço, e a Cloudflare atua como comerciante responsável. A documentação ainda o descreve como beta fechado.
• 1º de julho de 2026: controles separados de busca, agente e treinamento em todos os planos, inclusive o gratuito (registro de mudanças).
• Agosto de 2026: o Bot Preference Sync grava essas escolhas no início do seu robots.txt, ativado por padrão para clientes novos.
• 15 de setembro de 2026: uma opção nova, "Disallow AI Training", e uma mudança com efeito na busca. O anúncio da Cloudflare diz que Block e "Block on pages with ads" agora valem para robôs de uso misto, incluindo Applebot, Bingbot e Googlebot, então qualquer uma das duas em Treinamento também os impede de rastrear para a busca.

Essa última mudança é a que vale conferir hoje. Na Cloudflare, "bloquear o GPTBot" significa colocar Treinamento em Disallow AI Training: segundo a Cloudflare, isso bloqueia na borda os robôs só de treinamento, como os da OpenAI, Anthropic, Meta e Amazon, publica a preferência no robots.txt e mantém Googlebot, Bingbot e Applebot rastreando para a busca. Escolher Block em Treinamento agora barra o Googlebot por completo. A Cloudflare informa que menos de 1% dos seus sites bloqueia robôs de busca e que 17% bloqueiam o treinamento de alguma forma.

Três arquivos robots.txt para copiar

Troque a URL do sitemap e mantenha em cada grupo as regras que você já tem para caminhos privados (veja a primeira regra da seção anterior).

1. Liberar todos os robôs

Para a maioria das empresas que querem ser encontradas e citadas.

User-agent: *
Allow: /

Sitemap: https://example.com.br/sitemap.xml

2. Liberar busca e acessos de usuários, bloquear treinamento

Os robôs de busca e os agentes de usuário caem no * e continuam liberados; os de treinamento e os tokens de controle ficam de fora.

# Robôs e tokens de treinamento
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /

# Todos os demais, incluindo buscadores e agentes de usuário
User-agent: *
Allow: /

Sitemap: https://example.com.br/sitemap.xml

Duas escolhas de critério nessa lista. A Amazon diz que o Amazonbot melhora os produtos dela e pode treinar os modelos; o robô de busca, Amzn-SearchBot, continua liberado. A página da Common Crawl não fala de IA, mas o arquivo dela é aberto, então inclua o CCBot se não quiser suas páginas num conjunto de dados público. O Bing não tem token de treinamento: use NOARCHIVE nas páginas que você quer fora do treinamento da Microsoft e do Copilot.

3. Bloquear a IA, manter a busca do Google e do Bing

Recusa os robôs de treinamento, busca e usuário das empresas de IA e não mexe em Googlebot, bingbot e Applebot.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: MistralAI-Training
User-agent: MistralAI-Index
User-agent: MistralAI-User
User-agent: DuckAssistBot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.com.br/sitemap.xml

Saiba o preço: você sai da busca do ChatGPT, do Claude, da Perplexity, da Meta AI e das respostas com IA do DuckDuckGo. Não sai dos AI Overviews nem do Copilot, que usam os índices do Googlebot e do Bing; para isso existem o controle do Search Console e o NOARCHIVE. E os agentes cujas empresas dizem que o robots.txt talvez não se aplique (ChatGPT-User, Perplexity-User, meta-externalfetcher, Google-Agent) precisam de uma regra na borda, se for para valer.

O que os grandes portais brasileiros fazem: 5 arquivos que lemos

Em 17 de outubro de 2026 baixamos o robots.txt de cinco grandes portais de notícias do Brasil (Folha, G1, Estadão, UOL e O Globo) e avaliamos cada token para a página inicial segundo o RFC 9309.

Três detalhes chamam a atenção. A Folha e o UOL bloqueiam o Applebot inteiro, não só o Applebot-Extended, o que os tira da busca do Spotlight e da Siri, e a Folha bloqueia também o bingbot, que as diretrizes do Bing pedem para não bloquear se você quer aparecer no Copilot. O G1 e O Globo, ambos no domínio globo.com, têm políticas opostas: o G1 libera todos esses robôs, e O Globo bloqueia os da OpenAI, da Anthropic e da Perplexity, inclusive o OAI-SearchBot, além do Google-Extended. E nos dez grandes veículos dos EUA e do Reino Unido que lemos no mesmo dia, nenhum bloqueia Googlebot, bingbot ou Applebot. Trate os números como o que um cliente genérico recebe: um site pode servir arquivos diferentes a quem pergunta, e acordos de licenciamento não aparecem no robots.txt.

Como testar o seu robots.txt

1. Veja o que cada robô recebe. O nosso verificador de visibilidade em IA, gratuito, avalia 26 robôs de IA segundo o RFC 9309, mostra a linha que decide cada um e testa a sua página inicial e até 50 páginas do sitemap. Ele também valida o seu llms.txt.
2. Confirme que o arquivo responde 200. Um robots.txt que devolve erro de servidor bloqueia tudo para os robôs que cumprem as regras.
3. Confira a borda. Leia as configurações de bots do seu CDN (na Cloudflare: Block ou Disallow AI Training) e qualquer regra de firewall que filtre por user agent.
4. Leia os logs. Procure os user agents acima e confira os IPs nas listas publicadas por cada empresa antes de confiar no nome.
5. Confira de novo no dia seguinte. OpenAI e Amazon falam em cerca de 24 horas para aplicar uma mudança; o DuckDuckGo, em 72.

Estar liberado não é ser citado. O que leva uma página às respostas de IA, depois que os robôs conseguem lê-la, está em como aparecer nas respostas de IA, e o restante da preparação para agentes em o que um site pronto para agentes precisa.

O que fazer agora

Passe o seu domínio no verificador de visibilidade em IA e compare a tabela de robôs com a política que você pretendia ter. Se preferir que a gente configure as regras, teste no seu CDN e acompanhe onde as respostas de IA citam você, isso faz parte do nosso serviço de otimização para busca com IA, com auditorias a partir de USD 690 na página de preços.