GPTBot, ClaudeBot, PerplexityBot: o guia dos robôs de IA para sites brasileiros

Tem uma linha no robots.txt de muita empresa brasileira que custa caro e ninguém percebeu: um bloqueio genérico, copiado de algum post sobre “proteger seu conteúdo da IA”, que na prática tirou o site das respostas do ChatGPT e do Perplexity — onde estaria o tráfego.

O erro vem de uma confusão específica, e vale entender antes de mexer em qualquer coisa.

Existem dois tipos de robô, não um

Cada empresa de IA opera robôs diferentes para finalidades diferentes, com nomes distintos e regras independentes no robots.txt:

• Robôs de treino leem seu conteúdo para incorporá-lo ao modelo. Isso acontece uma vez, antes do modelo existir, e não gera visita nem citação.
• Robôs de busca leem sua página no momento em que alguém faz uma pergunta, para compor a resposta — e citam a fonte, com link clicável.

A consequência prática é contraintuitiva: bloquear o GPTBot não tira você do ChatGPT. O GPTBot é o robô de treino. Quem decide se você aparece nas respostas com busca ativada é o OAI-SearchBot, que obedece a outra regra.

Se você quer proteger seu conteúdo de virar material de treino mas continuar sendo encontrado, dá para fazer exatamente isso — é a política de boa parte dos grandes veículos de imprensa.

Quem visita o seu site

Robôs de busca e resposta — os que decidem se você é citado

Robô	Empresa	O que faz
OAI-SearchBot	OpenAI	Alimenta os resultados que o ChatGPT usa ao pesquisar. O mais importante da lista.
ChatGPT-User	OpenAI	Abre uma página específica quando o usuário pede.
PerplexityBot	Perplexity	Indexa páginas para o Perplexity, que sempre cita fontes.
Perplexity-User	Perplexity	Abre a página quando o usuário consulta a fonte.
Claude-SearchBot	Anthropic	Indexa páginas para a busca do Claude.
Claude-User	Anthropic	Acessa a página quando alguém pede ao Claude para consultá-la.
Google-Extended	Google	Controla o uso do conteúdo no Gemini e nas AI Overviews.

Robôs de treino — os que alimentam os modelos

Robô	Empresa	O que faz
GPTBot	OpenAI	Coleta conteúdo para treinar modelos GPT.
ClaudeBot	Anthropic	Coleta conteúdo para treinar os modelos Claude.
Applebot-Extended	Apple	Controla o uso no treino da Apple Intelligence.
CCBot	Common Crawl	Arquivo público usado como base por praticamente toda a indústria.
meta-externalagent	Meta	Coleta para os modelos Llama e produtos de IA da Meta.
Bytespider	ByteDance	Robô do grupo do TikTok. Tem histórico de ignorar robots.txt.

O caso especial do Google-Extended

O Google-Extended gera mais dúvida que todos os outros juntos, então vale ser explícito:

• Ele controla apenas o uso do seu conteúdo no Gemini e nas respostas de IA do Google.
• Bloqueá-lo não afeta o ranking na busca tradicional. O Googlebot continua rastreando e indexando normalmente.
• Mas bloqueá-lo tira você das AI Overviews — aquele bloco de resposta no topo dos resultados, que hoje aparece em boa parte das buscas e come uma fatia grande dos cliques.

Ou seja: é uma troca entre “não quero alimentar a IA do Google” e “quero aparecer no lugar mais visível da página de resultados”.

Como liberar

Para a maioria dos negócios — serviço, software, consultoria, e-commerce —, ser encontrado vale mais que qualquer outra consideração. O bloco abaixo libera busca e treino:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

Como liberar busca e bloquear treino

Se o seu produto é o conteúdo — jornalismo, cursos, banco de imagens, pesquisa —, essa é a configuração que faz sentido: você continua sendo citado, mas seu acervo não vira material de treino de graça.

# Busca e citação: liberado
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# Treino de modelos: bloqueado
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

Duas ressalvas honestas: o robots.txt é uma convenção, não uma trava — robôs mal-educados ignoram (o Bytespider é o caso mais citado). E o Google-Extended fica de fora dos dois blocos acima porque a decisão dele é sua: liberado, você aparece nas AI Overviews; bloqueado, não.

O problema que o robots.txt não mostra

Aqui está o achado que costuma surpreender: muitos sites com robots.txt perfeitamente liberado bloqueiam os robôs mesmo assim. O culpado é outra camada — firewall, WAF ou proteção anti-bot da hospedagem devolvendo 403 antes que o robô chegue ao conteúdo.

Cloudflare, Sucuri, Wordfence e as regras de “bloquear bots suspeitos” de várias hospedagens fazem isso por padrão. O site fica aberto para pessoas, fechado para robôs, e o robots.txt segue dizendo que está tudo certo.

É por isso que o verificador de robôs de IA não se limita a ler o arquivo: ele faz uma requisição real com o User-Agent de cada robô e mostra a resposta que o servidor devolveu de verdade.

Se der bloqueio nesse teste, a correção não é no robots.txt — é no painel do seu CDN ou da hospedagem, na lista de regras de bot.

Por onde começar

1. Verifique. Rode seu domínio no verificador e veja bot a bot o que está liberado.
2. Decida a política. Liberar tudo, ou liberar busca e bloquear treino. Não existe resposta única — depende de o conteúdo ser meio ou fim no seu negócio.
3. Corrija nas duas camadas. robots.txt e regras de bot da hospedagem. Adianta pouco arrumar uma e esquecer a outra.
4. Só então pense em llms.txt e no resto.