--- title: "Bloquear GPTBot e robôs de IA no robots.txt — Dardo" description: "Quais robôs de IA bloquear no robots.txt e o que isso custa: 28 user agents segundo cada empresa, as mudanças da Cloudflare e três arquivos para copiar." url: "https://dardo.studio/pt/blog/bloquear-robos-de-ia-robots-txt/" language: "pt" translations: {"en":"https://dardo.studio/en/blog/block-ai-crawlers-robots-txt/","es":"https://dardo.studio/es/blog/bloquear-rastreadores-de-ia-robots-txt/"} updated: "2026-10-17T23:24:17.151Z" --- [Blog](https://dardo.studio/pt/blog/) # Como bloquear robôs de IA no robots.txt: cada user agent, o que custa bloquear e três arquivos para copiar Bloqueie o GPTBot e outros robôs de treinamento sem sair do ChatGPT nem do Google: 28 user agents segundo cada empresa, regras do RFC 9309 e três arquivos. Por [Nicolás Cerón](https://dardo.studio/pt/nicolas-ceron/) ·17 de outubro de 2026 ![Um pátio ferroviário com neblina, à noite, onde trens esperam em trilhos que se ramificam sob um único braço de semáforo vermelho-carmim erguido sobre o entroncamento.](https://dardo.studio/_astro/01M562V51CG0KFYH6CYMRYCGCQ_Z1ls8n4.webp) ## Pontos-chave - OpenAI, Anthropic, Perplexity, Meta, Amazon e Mistral usam user agents separados para treinamento, busca e acessos pedidos por usuários, então dá para bloquear o treinamento sem sair das respostas de busca. - Google-Extended e Applebot-Extended são tokens de controle, não robôs: bloqueá-los tira o conteúdo do treinamento do Gemini e da Apple sem afetar a busca do Google nem a da Apple. - Pelo RFC 9309, um grupo que cita um robô substitui o grupo \* para esse robô, vence a regra mais longa e um robots.txt que responde com erro de servidor bloqueia tudo. - Desde 15 de setembro de 2026, a opção Block da Cloudflare para treinamento também barra Googlebot, Bingbot e Applebot; a opção Disallow AI Training os mantém rastreando para a busca. - Entre cinco grandes portais brasileiros lidos em 17 de outubro de 2026, quatro bloqueiam o ClaudeBot, dois bloqueiam o Applebot inteiro e um bloqueia o bingbot; nenhum bloqueia o Googlebot. ## A resposta curta Cada grande empresa de IA usa user agents diferentes para treinar modelos, para o índice de busca e para abrir páginas quando um usuário pede. Você bloqueia ou libera cada um citando o nome no robots.txt: `User-agent: GPTBot` seguido de `Disallow: /` pede ao robô de treinamento da OpenAI que não entre. Bloquear um robô de treinamento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent) não tem efeito documentado na busca. Bloquear um de busca ou de usuário (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User) tira você das respostas com citação daquele assistente. E robots.txt é um pedido, não uma tranca: robôs que cumprem as regras obedecem, alguns agentes de usuário dizem que talvez não, e só uma regra no CDN ou no firewall recusa de fato a requisição. Se você quer ser encontrado por clientes, libere os robôs de busca e os de usuário e decida o treinamento à parte. ## Bloquear o GPTBot? Decida pelo propósito de cada robô | Propósito | Exemplos | O que acontece se bloquear, segundo cada empresa | | -------------------------- | --------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------- | | Treinamento | GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, MistralAI-Training | Você pede que o conteúdo fique fora do treinamento. Nenhuma empresa diz que isso afeta a busca | | Índice de busca | OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot, meta-webindexer | Você sai das respostas e citações de busca daquela empresa | | Acesso pedido pelo usuário | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher, Amzn-User | O assistente não abre a sua página quando alguém pede, se a empresa respeitar o robots.txt nesse caso | Então, bloquear o GPTBot? Bloqueie se não quiser que a OpenAI treine com o seu conteúdo futuro: a OpenAI diz que GPTBot e OAI-SearchBot são independentes, então a busca do ChatGPT continua podendo mostrar você. Se não se importa, deixe liberado: nenhuma empresa documenta ganho ou perda na busca. Duas exceções quebram essa separação. Google e Microsoft usam um único robô para a busca e para os recursos de IA (Googlebot, bingbot), e o Applebot indexa para a busca da Apple e também pode alimentar o treinamento. Nesses casos, a exclusão do treinamento é um token separado ou uma tag na página. ## Todos os user agents de IA, pela documentação de cada empresa Lemos a página de cada empresa em 17 de outubro de 2026. A última coluna diz o que a própria empresa se compromete a fazer. | User agent | Empresa | O que faz | robots.txt, segundo a empresa | | -------------------- | -------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | | GPTBot | [OpenAI](https://developers.openai.com/api/docs/bots) | Coleta conteúdo que pode treinar os modelos | Bloquear indica que o conteúdo não deve ser usado em treinamento | | OAI-SearchBot | OpenAI | Mostra sites na busca do ChatGPT | Sites excluídos não aparecem nas respostas; a mudança leva cerca de 24 horas | | ChatGPT-User | OpenAI | Visita páginas durante um chat ou GPT personalizado | As regras podem não se aplicar; não decide a inclusão na busca | | OAI-AdsBot | OpenAI | Confere páginas de destino de anúncios no ChatGPT | Só visita páginas de anúncios enviados; não treina | | ClaudeBot | [Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) | Coleta conteúdo que pode contribuir para treinamento | Respeita; aceita Crawl-delay | | Claude-SearchBot | Anthropic | Indexa conteúdo para os resultados de busca do Claude | Respeita; bloquear pode reduzir a sua visibilidade | | Claude-User | Anthropic | Abre páginas quando um usuário pergunta ao Claude | Respeita; bloquear impede essas consultas | | Googlebot | [Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) | Busca do Google, incluindo AI Overviews e AI Mode | Respeita | | Google-Extended | Google | Token de controle para treinar o Gemini e para grounding no app Gemini e na Vertex AI | Não é um robô; não afeta inclusão nem ranqueamento na Busca | | GoogleOther | Google | Robô genérico de equipes de produto, por exemplo para pesquisa | Respeita; não afeta um produto específico | | Google-Agent | [Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) | Agentes na infraestrutura do Google agindo a pedido de um usuário | Fetchers acionados por usuário em geral ignoram o robots.txt | | Applebot | [Apple](https://support.apple.com/en-us/119829) | Busca no Spotlight, na Siri e no Safari; também pode treinar modelos da Apple | Respeita; sem grupo próprio, segue as regras do Googlebot | | Applebot-Extended | Apple | Token de controle para treinar os modelos da Apple | Não rastreia; páginas bloqueadas continuam na busca | | PerplexityBot | [Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) | Resultados de busca da Perplexity; não treina modelos | Libere para aparecer nos resultados | | Perplexity-User | Perplexity | Visita páginas para responder a um usuário | Em geral ignora o robots.txt | | meta-externalagent | [Meta](https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers) | Treinar modelos e indexar para produtos da Meta | Bloqueie pelo nome; guarda o robots.txt por até 24 horas | | meta-webindexer | Meta | Resultados de busca da Meta AI | Liberar ajuda a Meta AI a citar e linkar você | | meta-externalfetcher | Meta | Abre links a pedido de um usuário | Pode ignorar o robots.txt | | Amazonbot | [Amazon](https://developer.amazon.com/amazonbot) | Melhora produtos da Amazon; pode treinar os modelos | Segue o RFC 9309; a mudança leva cerca de 24 horas | | Amzn-SearchBot | Amazon | Busca em produtos como a Alexa; não treina | Se não for citado, segue as regras de outros buscadores | | Amzn-User | Amazon | Consultas ao vivo para usuários da Alexa | Pode não seguir todas as diretivas | | bingbot | [Microsoft](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0) | Busca do Bing; o Copilot usa o mesmo índice | Respeita; o Bing recomenda não bloquear | | MistralAI-Training | [Mistral AI](https://docs.mistral.ai/robots) | Monta conjuntos de dados para treinamento; não busca | A Mistral diz que você pode bloquear | | MistralAI-Index | Mistral AI | Indexa para a busca do assistente Vibe; não treina | Token documentado | | MistralAI-User | Mistral AI | Visita páginas que um usuário do Vibe pede | A Mistral diz que ele define quais sites essas requisições alcançam | | DuckAssistBot | [DuckDuckGo](https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot) | Leituras em tempo real para respostas com IA; não treina | O bloqueio vale após 72 horas; não afeta o ranqueamento orgânico | | CCBot | [Common Crawl](https://commoncrawl.org/ccbot) | Monta um arquivo aberto da web que qualquer pessoa baixa | Consulta o robots.txt e respeita Crawl-delay | | Bytespider | [ByteDance](https://zhanzhang.toutiao.com/docs/intro/26899) | Robô do Toutiao Search (página em chinês) | Documenta como interpreta o robots.txt; não fala de IA | User agents são fáceis de falsificar. OpenAI, Anthropic, Perplexity, Apple, Amazon, DuckDuckGo e Common Crawl publicam faixas de IP ou nomes de DNS reverso para separar o robô verdadeiro de um impostor nos seus logs. ### Copilot e Bing: não existe token de IA separado A Microsoft não tem um robô só de IA para bloquear. As [diretrizes para webmasters do Bing](https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a) dizem que Bing e Copilot compartilham rastreamento e índice, pedem para não bloquear o Bingbot e levam o controle de IA para cada página: `NOARCHIVE` tira o conteúdo das respostas do Copilot e do grounding, e `NOCACHE` limita o Copilot à URL, ao título e ao trecho. O [anúncio do Bing de 2023](https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat) acrescenta que conteúdo com NOARCHIVE não treina os modelos da Microsoft e continua nos resultados de busca. A Cloudflare relata que a Microsoft pretende respeitar uma preferência de "não treinar" no robots.txt a partir do início de 2027; a Microsoft não documentou isso. ### Google: o Google-Extended não mexe nos AI Overviews O Google-Extended controla o treinamento e o grounding do Gemini no app Gemini e na Vertex AI, não a Busca do Google. AI Overviews e AI Mode vêm do índice do Googlebot. Para deixar um site fora deles, o Google oferece o [controle de IA generativa da Busca](https://support.google.com/webmasters/answer/16908024) no Search Console (disponível para todos os sites desde 31 de agosto de 2026; o Google diz que não afeta treinamento nem ranqueamento no restante da Busca), além de `nosnippet` e `noindex` por página. ## Como as regras são interpretadas (RFC 9309) O protocolo de exclusão de robôs é padrão do IETF desde setembro de 2022, como [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309). As regras que mais confundem: - **Um grupo com nome substitui o grupo** `*****`**.** O robô obedece aos grupos que citam o nome dele (sem diferenciar maiúsculas, e somados se houver vários). Só se nenhum o citar ele usa o `*`. Se o seu grupo `*` bloqueia `/admin/` e você acrescenta `User-agent: GPTBot` com `Allow: /`, o GPTBot passa a poder entrar em `/admin/`. Repita as regras comuns em cada grupo com nome. - **Um grupo pode citar vários robôs.** Empilhe linhas `User-agent` sobre o mesmo bloco de regras, como nos arquivos abaixo. - **Vence a regra mais longa que combina.** Com `Disallow: /blog/` e `Allow: /blog/publico/`, uma página em `/blog/publico/` fica liberada. Se um Allow e um Disallow empatam, o Allow deve vencer. - **Um robots.txt com erro bloqueia tudo.** Se o arquivo responde com erro 5xx, os robôs que cumprem as regras devem assumir bloqueio total; um 4xx libera tudo. - **Cada host tem o seu arquivo.** `loja.example.com.br` precisa do próprio robots.txt; Anthropic e Amazon dizem isso com todas as letras. - **As mudanças não são imediatas.** O RFC diz que não se deve usar uma cópia guardada por mais de 24 horas. OpenAI e Amazon falam em cerca de 24 horas, a Meta em até 24 e o DuckDuckGo em 72. - **Não é controle de acesso.** O RFC deixa claro que essas regras não são autorização de acesso, e listar um caminho no robots.txt o torna público. O `Crawl-delay` não faz parte do padrão: Anthropic e Common Crawl respeitam; Apple e Amazon dizem que não. ## robots.txt é um pedido: os controles da Cloudflare O robots.txt expressa uma preferência. Um robô que a ignore, ou um agente de usuário cuja empresa diz que o robots.txt talvez não se aplique, recebe a sua página mesmo assim se nada a recusar na borda da rede. A Anthropic avisa o contrário também: bloquear os IPs dela pode impedir a leitura do seu robots.txt, então, para os robôs dela, a exclusão documentada é o próprio robots.txt. A Cloudflare, que diz gerenciar o tráfego de 20% da web, mudou os padrões várias vezes: - **Setembro de 2024:** uma opção de um clique para bloquear robôs de IA. O [comunicado de julho de 2025](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) diz que mais de um milhão de clientes a ativaram. - **1º de julho de 2025:** todo domínio novo passa a escolher no cadastro se libera robôs de IA, e surge o [pay per crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/): o robô sinaliza que vai pagar ou recebe um HTTP 402 com o preço, e a Cloudflare atua como comerciante responsável. A [documentação](https://developers.cloudflare.com/ai-crawl-control/features/pay-per-crawl/what-is-pay-per-crawl/) ainda o descreve como beta fechado. - **1º de julho de 2026:** controles separados de busca, agente e treinamento em todos os planos, inclusive o gratuito ([registro de mudanças](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/)). - **Agosto de 2026:** o [Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/) grava essas escolhas no início do seu robots.txt, ativado por padrão para clientes novos. - **15 de setembro de 2026:** uma opção nova, "Disallow AI Training", e uma mudança com efeito na busca. O [anúncio da Cloudflare](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) diz que Block e "Block on pages with ads" agora valem para robôs de uso misto, incluindo Applebot, Bingbot e Googlebot, então qualquer uma das duas em Treinamento também os impede de rastrear para a busca. Essa última mudança é a que vale conferir hoje. Na Cloudflare, "bloquear o GPTBot" significa colocar Treinamento em **Disallow AI Training**: segundo a Cloudflare, isso bloqueia na borda os robôs só de treinamento, como os da OpenAI, Anthropic, Meta e Amazon, publica a preferência no robots.txt e mantém Googlebot, Bingbot e Applebot rastreando para a busca. Escolher **Block** em Treinamento agora barra o Googlebot por completo. A Cloudflare informa que menos de 1% dos seus sites bloqueia robôs de busca e que 17% bloqueiam o treinamento de alguma forma. ## Três arquivos robots.txt para copiar Troque a URL do sitemap e mantenha em cada grupo as regras que você já tem para caminhos privados (veja a primeira regra da seção anterior). ### 1\. Liberar todos os robôs Para a maioria das empresas que querem ser encontradas e citadas. ```txt User-agent: * Allow: / Sitemap: https://example.com.br/sitemap.xml ``` ### 2\. Liberar busca e acessos de usuários, bloquear treinamento Os robôs de busca e os agentes de usuário caem no `*` e continuam liberados; os de treinamento e os tokens de controle ficam de fora. ```txt # Robôs e tokens de treinamento User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: MistralAI-Training User-agent: CCBot Disallow: / # Todos os demais, incluindo buscadores e agentes de usuário User-agent: * Allow: / Sitemap: https://example.com.br/sitemap.xml ``` Duas escolhas de critério nessa lista. A Amazon diz que o Amazonbot melhora os produtos dela e pode treinar os modelos; o robô de busca, Amzn-SearchBot, continua liberado. A página da Common Crawl não fala de IA, mas o arquivo dela é aberto, então inclua o CCBot se não quiser suas páginas num conjunto de dados público. O Bing não tem token de treinamento: use `NOARCHIVE` nas páginas que você quer fora do treinamento da Microsoft e do Copilot. ### 3\. Bloquear a IA, manter a busca do Google e do Bing Recusa os robôs de treinamento, busca e usuário das empresas de IA e não mexe em Googlebot, bingbot e Applebot. ```txt User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: meta-webindexer User-agent: meta-externalfetcher User-agent: Amazonbot User-agent: Amzn-SearchBot User-agent: Amzn-User User-agent: MistralAI-Training User-agent: MistralAI-Index User-agent: MistralAI-User User-agent: DuckAssistBot User-agent: CCBot User-agent: Bytespider Disallow: / User-agent: * Allow: / Sitemap: https://example.com.br/sitemap.xml ``` Saiba o preço: você sai da busca do ChatGPT, do Claude, da Perplexity, da Meta AI e das respostas com IA do DuckDuckGo. Não sai dos AI Overviews nem do Copilot, que usam os índices do Googlebot e do Bing; para isso existem o controle do Search Console e o `NOARCHIVE`. E os agentes cujas empresas dizem que o robots.txt talvez não se aplique (ChatGPT-User, Perplexity-User, meta-externalfetcher, Google-Agent) precisam de uma regra na borda, se for para valer. ## O que os grandes portais brasileiros fazem: 5 arquivos que lemos Em 17 de outubro de 2026 baixamos o robots.txt de cinco grandes portais de notícias do Brasil (Folha, G1, Estadão, UOL e O Globo) e avaliamos cada token para a página inicial segundo o RFC 9309. | User agent | Bloqueado por | Propósito | | ----------------------------------------------------------------- | ------------- | ----------------------------- | | ClaudeBot, PerplexityBot, CCBot, Bytespider | 4 de 5 | Treinamento / busca | | Claude-SearchBot, Claude-User, Perplexity-User | 3 de 5 | Busca / usuário | | GPTBot, OAI-SearchBot, ChatGPT-User | 2 de 5 | Treinamento / busca / usuário | | Google-Extended, Applebot-Extended, meta-externalagent, Amazonbot | 2 de 5 | Treinamento | | Applebot | 2 de 5 | Busca da Apple | | bingbot | 1 de 5 | Busca do Bing e Copilot | | Googlebot | 0 de 5 | Busca do Google | Três detalhes chamam a atenção. A Folha e o UOL bloqueiam o Applebot inteiro, não só o Applebot-Extended, o que os tira da busca do Spotlight e da Siri, e a Folha bloqueia também o bingbot, que as diretrizes do Bing pedem para não bloquear se você quer aparecer no Copilot. O G1 e O Globo, ambos no domínio globo.com, têm políticas opostas: o G1 libera todos esses robôs, e O Globo bloqueia os da OpenAI, da Anthropic e da Perplexity, inclusive o OAI-SearchBot, além do Google-Extended. E nos dez grandes veículos dos EUA e do Reino Unido que lemos no mesmo dia, nenhum bloqueia Googlebot, bingbot ou Applebot. Trate os números como o que um cliente genérico recebe: um site pode servir arquivos diferentes a quem pergunta, e acordos de licenciamento não aparecem no robots.txt. ## Como testar o seu robots.txt 1. **Veja o que cada robô recebe.** O nosso [verificador de visibilidade em IA](https://dardo.studio/pt/ferramentas/verificador-visibilidade-ia/), gratuito, avalia 26 robôs de IA segundo o RFC 9309, mostra a linha que decide cada um e testa a sua página inicial e até 50 páginas do sitemap. Ele também valida o seu [llms.txt](https://dardo.studio/pt/blog/o-que-e-llms-txt/). 2. **Confirme que o arquivo responde 200.** Um robots.txt que devolve erro de servidor bloqueia tudo para os robôs que cumprem as regras. 3. **Confira a borda.** Leia as configurações de bots do seu CDN (na Cloudflare: Block ou Disallow AI Training) e qualquer regra de firewall que filtre por user agent. 4. **Leia os logs.** Procure os user agents acima e confira os IPs nas listas publicadas por cada empresa antes de confiar no nome. 5. **Confira de novo no dia seguinte.** OpenAI e Amazon falam em cerca de 24 horas para aplicar uma mudança; o DuckDuckGo, em 72. Estar liberado não é ser citado. O que leva uma página às respostas de IA, depois que os robôs conseguem lê-la, está em [como aparecer nas respostas de IA](https://dardo.studio/pt/blog/aparecer-nas-respostas-de-ia/), e o restante da preparação para agentes em [o que um site pronto para agentes precisa](https://dardo.studio/pt/blog/site-pronto-para-agentes/). ## O que fazer agora Passe o seu domínio no [verificador de visibilidade em IA](https://dardo.studio/pt/ferramentas/verificador-visibilidade-ia/) e compare a tabela de robôs com a política que você pretendia ter. Se preferir que a gente configure as regras, teste no seu CDN e acompanhe onde as respostas de IA citam você, isso faz parte do nosso serviço de [otimização para busca com IA](https://dardo.studio/pt/servicos/otimizacao-para-busca-com-ia/), com auditorias a partir de USD 690 na página de [preços](https://dardo.studio/pt/precos/). ## Perguntas frequentes **Devo bloquear o GPTBot?** Bloqueie se não quiser que a OpenAI use o seu conteúdo futuro para treinamento. A OpenAI diz que GPTBot e OAI-SearchBot são independentes, então bloquear o GPTBot não tira você da busca do ChatGPT; bloquear o OAI-SearchBot tira. **Bloquear o Google-Extended me tira dos AI Overviews?** Não. O Google-Extended controla o treinamento e o grounding do Gemini no app Gemini e na Vertex AI, e o Google diz que ele não afeta inclusão nem ranqueamento na Busca. AI Overviews e AI Mode usam o índice do Googlebot; para eles existem o controle de IA generativa do Search Console, nosnippet e noindex. **Os robôs de IA são obrigados a respeitar o robots.txt?** Não. O RFC 9309 deixa claro que as regras não são autorização de acesso, e algumas empresas dizem que seus agentes de usuário podem ignorar o robots.txt. Para recusar requisições de fato, você precisa de uma regra no CDN, no firewall ou no gerenciador de bots. **Como bloquear o GPTBot na Cloudflare?** Nas configurações de segurança da sua zona, coloque o comportamento de Treinamento em Disallow AI Training. Segundo a Cloudflare, isso bloqueia na borda os robôs só de treinamento, como o GPTBot, e grava a preferência no robots.txt, enquanto Googlebot, Bingbot e Applebot continuam rastreando para a busca. Escolher Block também barra esses buscadores. **Quanto tempo leva para uma mudança no robots.txt valer?** O RFC 9309 diz que os robôs não devem usar uma cópia guardada por mais de 24 horas. OpenAI e Amazon falam em cerca de 24 horas, a Meta em até 24 e o DuckDuckGo em 72 horas para o DuckAssistBot. **Como impedir que o Microsoft Copilot use o meu conteúdo?** O Bing não tem token separado para IA. As diretrizes dele dizem que a meta tag NOARCHIVE tira o conteúdo das respostas do Copilot e do grounding, e que NOCACHE limita o uso à URL, ao título e ao trecho. Bloquear o bingbot no robots.txt também tira o seu site do rastreamento do Bing. ## Fontes e leituras adicionais Fontes desta página, com mais detalhes dos publicadores originais. - [IETF: RFC 9309, Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) · rfc-editor.org - [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots) · developers.openai.com - [Anthropic (Claude Help Center): Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) · support.claude.com - [Google Crawling Infrastructure: Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) · developers.google.com - [Google Crawling Infrastructure: Google's user-triggered fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers) · developers.google.com - [Ajuda do Search Console: controle de IA generativa da Busca](https://support.google.com/webmasters/answer/16908024) · support.google.com - [Apple: About Applebot](https://support.apple.com/en-us/119829) · support.apple.com - [Perplexity: Perplexity crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) · docs.perplexity.ai - [Meta for Developers: Meta web crawlers](https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers) · developers.facebook.com - [Amazon: About Amazonbot](https://developer.amazon.com/amazonbot) · developer.amazon.com - [Bing Webmaster Tools: Which crawlers does Bing use?](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0) · bing.com - [Bing Webmaster Tools: Bing Webmaster Guidelines](https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a) · bing.com - [Bing Webmaster Blog: New options to control usage of content in Bing Chat (setembro de 2023)](https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat) · blogs.bing.com - [Mistral AI: Mistral crawlers](https://docs.mistral.ai/robots) · docs.mistral.ai - [DuckDuckGo: DuckAssistBot](https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot) · duckduckgo.com - [Common Crawl: CCBot](https://commoncrawl.org/ccbot) · commoncrawl.org - [Toutiao Search: Sobre o Bytespider (em chinês)](https://zhanzhang.toutiao.com/docs/intro/26899) · zhanzhang.toutiao.com - [Cloudflare: comunicado de 1º de julho de 2025 sobre robôs de IA](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) · cloudflare.com - [Cloudflare blog: Introducing pay per crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/) · blog.cloudflare.com - [Cloudflare docs: What is pay per crawl](https://developers.cloudflare.com/ai-crawl-control/features/pay-per-crawl/what-is-pay-per-crawl/) · developers.cloudflare.com - [Cloudflare changelog: New options to manage AI traffic (1º de julho de 2026)](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/) · developers.cloudflare.com - [Cloudflare blog: Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/) · blog.cloudflare.com - [Cloudflare blog: Have it both ways (15 de setembro de 2026)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) · blog.cloudflare.com [Nicolás Cerón](https://dardo.studio/pt/nicolas-ceron/) Nicolás Cerón é o fundador da Dardo, um estúdio de marca, design e desenvolvimento web em Bogotá, na Colômbia. ## Artigos relacionados - [**O que é llms.txt? Formato, quem lê de verdade, um exemplo para copiar e como validar**llms.txt é um guia em Markdown do seu site para agentes de IA. A Busca do Google ignora; assistentes de programação usam. Formato, modelo e como validar.](https://dardo.studio/pt/blog/o-que-e-llms-txt/) - [**Como aparecer nas respostas de IA em 2026: o que ChatGPT, Perplexity, Google e Copilot realmente documentam**Não existe um botão para aparecer no ChatGPT, no Perplexity, nas AI Overviews do Google ou no Copilot. Veja o que cada plataforma documenta sobre ser citada e como medir isso sem achismo.](https://dardo.studio/pt/blog/aparecer-nas-respostas-de-ia/) - [**O que um site pronto para agentes precisa: notas de bastidores da criação do dardo.studio**Tornamos o dardo.studio legível e acionável por agentes de IA, uma camada de cada vez. Veja o que cada camada faz, quem documenta que a lê hoje e quais construiríamos de novo.](https://dardo.studio/pt/blog/site-pronto-para-agentes/) - [**Quanto custa SEO no Brasil em 2026? Preços publicados por agências, auditoria, consultoria e sinais de alerta**Os planos mensais publicados vão de R$ 89 a R$ 3.000; auditorias, de R$ 1.497 a R$ 2.490. O que cada preço compra e como reconhecer uma promessa falsa.](https://dardo.studio/pt/blog/quanto-custa-seo/) ## Continue explorando. - [Serviço · **Otimização para busca com IA (GEO): seja citado pelo ChatGPT e pelo Google AI**](https://dardo.studio/pt/servicos/otimizacao-para-busca-com-ia/) - [Seu projeto · **Vamos conversar**](https://dardo.studio/pt/contato/)