Robôs de IA nos maiores sites do Brasil

Como o estudo foi feito

Começamos pela lista Tranco, um ranking público de domínios usado em pesquisa acadêmica, e separamos os 500 primeiros domínios brasileiros (terminados em .br), que iam da posição 552 à 51 mil do ranking global.

De cada um, buscamos apenas o arquivo /robots.txt, que é público — uma requisição por site, com User-Agent identificado (ConquistoBot) e link para esta página. 317 responderam com um arquivo legível, e é sobre eles que os números abaixo falam.

A interpretação das regras segue a convenção usada pelo Google: vence a regra de caminho mais longo e, em empate, Allow ganha de Disallow. É exatamente a mesma lógica do verificador de robôs de IA — o estudo e a ferramenta dizem a mesma coisa sobre o mesmo site.

Achado 1: quatro em cada cinco nunca decidiram nada

79.8% dos sites não mencionam nenhum robô de IA no robots.txt. Não é permissão consciente: é ausência de decisão. Na prática esses sites estão liberados, porque a convenção do robots.txt é que o que não está proibido está permitido — mas ninguém na empresa escolheu isso.

Para a maioria dos negócios esse acidente é favorável: estar acessível é o que permite ser citado. O problema é que a mesma inércia deixa a porta aberta também para o uso do conteúdo em treino de modelos, que é uma decisão bem diferente e que merecia ser tomada de propósito.

Achado 2: quem bloqueia, bloqueia demais

45 sites (14.2%) bloqueiam ao menos um robô de treino. Faz todo sentido para quem vive de conteúdo — jornalismo, cursos, pesquisa — e não quer alimentar modelos de graça.

Só que apenas 14 desses sites fazem isso de forma cirúrgica, bloqueando o treino e mantendo os robôs de busca liberados. Os outros 31 — 69% de quem bloqueia — derrubaram junto os robôs que citam a fonte e mandam o clique de volta.

É a diferença entre "não quero virar material de treino" e "não quero aparecer". A primeira é uma posição sobre direitos do conteúdo. A segunda é abrir mão de tráfego. Quase sempre a segunda foi efeito colateral da primeira: os nomes dos robôs são parecidos, as regras são independentes, e um bloco copiado da internet resolve tudo do jeito errado.

Achado 3: o robô mais bloqueado do Google é o que menos deveria ser

Entre os robôs de busca, o mais bloqueado é o Google-Extended, em 8.8% dos sites — quase o triplo do OAI-SearchBot (3.2%).

A explicação mais provável é um mal-entendido: muita gente bloqueia o Google-Extended achando que está se protegendo de alguma coisa ligada ao Google. Só que ele não afeta o ranking da busca tradicional — o Googlebot continua rastreando normalmente. O que ele controla é a presença nas AI Overviews e no Gemini. Bloquear significa sumir do bloco de resposta que hoje ocupa o topo de boa parte das buscas.

O quadro completo

O que não dá para afirmar

Este estudo mede o que os sites declaram no robots.txt, e só isso. Três limites que importam:

• Existe uma segunda camada de bloqueio que não medimos. Dos 500 domínios, 51 devolveram HTTP 403 no próprio robots.txt e 74 não responderam. Boa parte disso é firewall ou proteção anti-bot recusando qualquer cliente que não seja um navegador — o que atingiria robôs de IA também. Tentamos separar "bloqueia bots" de "bloqueia tudo que não é navegador" e não conseguimos com rigor suficiente: WAFs modernos identificam o cliente pela impressão digital da conexão TLS, não pelo User-Agent, então um script se passando por navegador é detectado do mesmo jeito. Um teste honesto disso exige um navegador de verdade automatizado, e ficou para uma próxima rodada. Preferimos deixar a lacuna explícita a publicar um número que não se sustenta.
• Robots.txt é convenção, não trava. Um robô mal-educado ignora o arquivo. O Bytespider, da ByteDance, é o caso mais citado.
• A amostra é de sites grandes. São os 500 domínios brasileiros mais bem posicionados na Tranco. Sites menores provavelmente decidiram ainda menos sobre o assunto, mas isso é hipótese, não medição.

Reprodutibilidade

Os dados agregados que geram esta página estão no repositório do site, em src/data/estudo-robots-2026.json. A coleta é uma requisição pública por domínio; qualquer pessoa com a lista Tranco e um script de dez linhas chega aos mesmos números. Se você encontrar erro na apuração, me escreva que eu corrijo e registro a correção aqui.

Não publicamos a lista nominal de sites bloqueadores. O objetivo é medir uma prática, não expor empresas por uma configuração que, na maioria dos casos, ninguém tomou conscientemente.

E o seu site?

O verificador de robôs de IA roda a mesma análise no seu domínio, bot a bot, e ainda faz um teste de acesso real. É gratuito e leva alguns segundos.