Como usar o verificador
- Digite o seu domínio. O verificador segue os redirecionamentos até o endereço em que a sua página inicial responde (de http para https, de suaempresa.com.br para www.suaempresa.com.br) e lê os arquivos ali.
- Leia a tabela de rastreadores. Cada linha é um rastreador, com o nome que a empresa dá a ele, o que ele faz e se o seu robots.txt o deixa entrar. A regra que decide é a linha do seu arquivo que vale para a página inicial.
- Trabalhe nos achados. O que está «para corrigir» barra rastreadores ou quebra um arquivo, o que está «para revisar» merece uma olhada e as observações explicam uma escolha sua. Os modelos e as linhas de robots.txt podem ser copiados direto do relatório.
- Guarde o relatório. Baixe em Markdown, copie ou envie para nós pelo formulário no final.
Rastreadores de busca, agentes de usuário e rastreadores de treinamento
OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Amazon e Mistral dão aos seus rastreadores tokens de robots.txt separados, então você pode decidir por finalidade:
- Rastreadores de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot e outros): montam os índices que as respostas de IA citam. A OpenAI diz que sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT, e a Anthropic diz que bloquear o Claude-SearchBot pode reduzir a sua visibilidade nos resultados dela. Se você quer ser citado, permita-os.
- Agentes de usuário (ChatGPT-User, Claude-User, Perplexity-User e outros): abrem uma página quando alguém pergunta sobre ela a um assistente. A OpenAI e o Perplexity dizem que o robots.txt pode não valer para essas solicitações, porque uma pessoa as pediu; a Anthropic diz que os bots dela respeitam o robots.txt.
- Rastreadores de treinamento (GPTBot, ClaudeBot, meta-externalagent e outros), junto com os tokens Google-Extended e Applebot-Extended: controlam se o seu conteúdo é usado para treinar modelos. A OpenAI diz que o GPTBot e o OAI-SearchBot são independentes, e o Google diz que o Google-Extended não afeta a inclusão nem o ranking na Pesquisa Google. Bloqueá-los é uma decisão de negócio, não um erro.
O verificador cruza cada token como manda o padrão do robots.txt (RFC 9309): os grupos que citam o rastreador, sem diferenciar maiúsculas, e, se não houver, o grupo *; depois vence a regra mais longa que coincide, e o Allow vence um empate. Quando uma empresa diz que o rastreador dela segue as regras de outro (o Applebot da Apple segue as do Googlebot), o verificador faz o mesmo. Ele testa a página inicial e até 50 páginas espalhadas pelo sitemap.
O que o llms.txt é, e o que não é
O llms.txt é uma proposta publicada no llmstxt.org em setembro de 2024 e revisada em agosto de 2026: um arquivo Markdown que dá aos modelos de linguagem um guia curto de um site. Em ordem, ele tem um H1 com o nome do site (a única parte obrigatória), um resumo em citação, notas opcionais sem títulos e seções H2 que listam links como «- [nome](url): notas». O verificador valida cada parte e testa até 15 dos links. A versão 2 permite colocar o arquivo em qualquer caminho; o verificador lê o da raiz do seu site.
Dê a ele o peso certo. O guia do Google sobre os recursos de IA generativa diz que você não precisa de arquivos de texto para IA para aparecer na Pesquisa Google, porque a Pesquisa Google os ignora, e nenhuma das empresas de IA da tabela documenta que os rastreadores dela leiam o llms.txt de outros sites. Publicar custa pouco e ajuda agentes e ferramentas para desenvolvedores, mas não é fator de ranking. O llms-full.txt, um arquivo único com todo o texto de um site, nem faz parte da proposta.
O que a verificação não enxerga
- Firewalls e proteção contra bots. O robots.txt expressa as suas preferências; uma regra da sua CDN pode recusar um rastreador que o robots.txt permite. O verificador se identifica como DardoAIVisibilityChecker, então se o seu site o recusa, pode recusar também os rastreadores de IA, mas uma verificação bem-sucedida não prova que eles passam. Confira a configuração de bots e os logs da sua CDN.
- A configuração do próprio Google. O Search Console tem um controle de IA generativa na Pesquisa que pode excluir um site dos AI Overviews e do AI Mode. Ele não está no robots.txt, então confira no Search Console.
- Indexação e citações. Ser permitido não é ser indexado nem citado. Para medir onde as respostas de IA citam você, veja como aparecer nas respostas de IA.
- JavaScript. O verificador lê o HTML que o seu servidor envia, sem executar scripts, e conta as palavras.
Dúvidas antes de escolher
Bloquear o GPTBot tira o meu site do ChatGPT?
Não da busca do ChatGPT. A OpenAI diz que o GPTBot (treinamento) e o OAI-SearchBot (busca) são independentes: um site pode permitir o OAI-SearchBot para aparecer nas respostas de busca do ChatGPT e bloquear o GPTBot para que o conteúdo não seja usado em treinamento. O que deixa um site fora dessas respostas é bloquear o OAI-SearchBot.
O Google usa o llms.txt?
Não na Pesquisa. O guia do Google sobre os recursos de IA generativa diz que a Pesquisa Google ignora arquivos de texto para IA como o llms.txt: publicar um não ajuda nem prejudica a sua visibilidade na Pesquisa, incluindo os AI Overviews e o AI Mode.
Qual regra do robots.txt vale quando várias coincidem?
Pela RFC 9309, um rastreador segue os grupos que o citam (sem diferenciar maiúsculas, e combinados se houver vários); se nenhum o cita, segue o grupo *. Dentro dessas regras vence o caminho mais longo que coincide, e o Allow vence um empate. O verificador mostra a regra que decide a sua página inicial.
Meu robots.txt permite tudo. Os rastreadores de IA ainda podem ser bloqueados?
Sim. O robots.txt é um pedido, não um cadeado: uma regra da CDN, do firewall ou de proteção contra bots pode recusar um rastreador antes de ele ler qualquer coisa. A Cloudflare, por exemplo, permite bloquear rastreadores de IA específicos na rede dela. Confira também essa configuração e os logs do servidor.
Qual é a diferença entre llms.txt e llms-full.txt?
O llms.txt é um guia curto com links, definido pela proposta do llmstxt.org. O llms-full.txt é uma convenção que alguns sites de documentação usam para colocar todo o texto em um arquivo; a proposta não o define. Nenhum dos dois é obrigatório, e um site comercial pode dispensar o llms-full.txt.
Vocês guardam os sites que eu verifico?
Não. Nosso servidor busca os arquivos públicos do site quando você clica no botão e envia os resultados ao seu navegador; nada é salvo. As verificações têm um limite por conexão para evitar abusos.
Fontes e leituras adicionais
Fontes desta página, com mais detalhes dos publicadores originais.
- OpenAI: visão geral dos rastreadores da OpenAI (em inglês)developers.openai.com
- Anthropic (Central de ajuda do Claude): rastreamento da web e como bloquear os rastreadores (em inglês)support.claude.com
- Perplexity: rastreadores do Perplexity (em inglês)docs.perplexity.ai
- Google: rastreadores comuns do Googledevelopers.google.com
- Google Search Central: otimizar para os recursos de IA generativa da Pesquisadevelopers.google.com
- Google Search Central: recursos de IA e o seu sitedevelopers.google.com
- Ajuda do Search Console: controle de IA generativa na Pesquisasupport.google.com
- Apple: sobre o Applebot (em inglês)support.apple.com
- Meta: rastreadores web da Meta (em inglês)developers.facebook.com
- Amazon: Amazonbot (em inglês)developer.amazon.com
- Mistral AI: robôs e agentes de usuário (em inglês)docs.mistral.ai
- DuckDuckGo: DuckAssistBot (em inglês)duckduckgo.com
- Bing Webmaster Tools: quais rastreadores o Bing usa (em inglês)bing.com
- You.com: YouBot (em inglês)you.com
- Common Crawl: CCBot (em inglês)commoncrawl.org
- ByteDance, plataforma para webmasters do Toutiao Search: sobre o Bytespider (em chinês)zhanzhang.toutiao.com
- IETF RFC 9309: protocolo de exclusão de robôs (em inglês)rfc-editor.org
- llmstxt.org: o arquivo /llms.txt, versão 2 (em inglês)llmstxt.org
- Cloudflare: robots.txt gerenciado e Content Signals (em inglês)developers.cloudflare.com
- Google Search Central: dados estruturados de Organizationdevelopers.google.com
- Google Search Central: nomes de sites na Pesquisa Googledevelopers.google.com
- sitemaps.org: formato XML dos sitemapssitemaps.org