OAI-SearchBot, GPTBot e robots.txt: quais robôs liberar?
Para permitir a descoberta no ChatGPT Search, avalie o acesso do OAI-SearchBot. A decisão sobre GPTBot, ligado à coleta que pode ser usada em treinamento, é independente. Configure o robots.txt de acordo com sua política e confira a resposta do servidor e do CDN: uma permissão no arquivo não elimina outros bloqueios.
Qual é a diferença entre os agentes?
| Agente | Função documentada | Implicação prática |
|---|---|---|
| OAI-SearchBot | Busca do ChatGPT | Avaliar acesso quando o objetivo é aparecer na busca |
| GPTBot | Coleta que pode apoiar treinamento | Decisão separada de uso do conteúdo |
| ChatGPT-User | Algumas visitas acionadas pelo usuário | Não usar como substituto da configuração de busca |
A documentação oficial dos crawlers da OpenAI distingue essas funções e publica endereços de IP. Ela informa também que regras de robots podem não se aplicar a certas visitas iniciadas por usuários. Não trate robots.txt como controle de acesso a conteúdo privado.
Exemplo: permitir busca e restringir treinamento
Este é um exemplo para adaptar, caso essa seja a política do site. Troque o domínio e revise regras existentes antes de aplicar. Não copie o arquivo inteiro sobre uma configuração de produção sem conferir as seções que já existem.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.seudominio.com.br/sitemap.xmlOs exemplos são didáticos. O bloco genérico acima deixa o conteúdo público disponível aos demais agentes que respeitam o arquivo; ele não define uma política detalhada para todos os serviços de IA. Se houver áreas privadas, proteja-as com autenticação e autorização apropriadas, em vez de confiar nessa convenção.
Baixe o exemplo de configuração e o checklist técnico. O exemplo não altera a política atual do site da Infoagents.
Teste o robots e uma página real
Use uma ferramenta HTTP para inspecionar o arquivo público e uma URL de artigo. Em Windows, chamar curl.exe evita confusão com aliases de terminal. Os comandos abaixo são instruções para executar no seu domínio, não resultados de um teste já realizado.
curl.exe -sS -D - -o NUL https://www.seudominio.com.br/robots.txt
curl.exe -sS https://www.seudominio.com.br/robots.txt
curl.exe -sS -D - -o NUL -A "OAI-SearchBot" https://www.seudominio.com.br/artigoO primeiro comando mostra cabeçalhos; o segundo, o conteúdo do robots; o terceiro observa a resposta HTTP para um user-agent informado manualmente. No macOS ou Linux, use curl e troque NUL por /dev/null nos comandos que descartam o corpo.
Confira também o corpo da resposta da página. Um status 200 pode acompanhar uma tela de desafio ou uma mensagem de erro. O conteúdo principal precisa estar disponível, e a URL deve levar à versão esperada da página.
Como interpretar os status e bloqueios
| Observação | Investigação seguinte |
|---|---|
| 200 com artigo legível | Conferir canonical, diretivas e links de descoberta |
| 200 com desafio de segurança | Examinar regra de CDN/WAF e comportamento de bots |
| 301 ou 308 | Conferir destino e evitar cadeia desnecessária |
| 401 ou 403 | Verificar autenticação, bloqueio e regra aplicada |
| 404 | Confirmar se a rota existe e se os links estão corretos |
| Erro 5xx ou timeout | Investigar servidor, origem e disponibilidade |
Um teste local com user-agent modificado não autentica um crawler real. Qualquer cliente pode informar esse nome. Para investigar visitas verdadeiras, combine registros do servidor, horário, rota e endereços oficiais publicados pelo provedor. Não crie uma liberação ampla de segurança baseada somente no nome do agente.
O que conferir no CDN ou WAF
Procure o evento correspondente à requisição que falhou e identifique a regra aplicada. Verifique se o bloqueio vem da origem ou da camada de proteção. Quando uma exceção for necessária, restrinja-a ao objetivo e aos critérios verificáveis, sem desligar a proteção do site inteiro.
Depois da mudança, repita a inspeção e guarde configuração anterior, data e resultado. Não interprete a ausência de visita nos logs como prova de bloqueio: o agente pode simplesmente não ter solicitado aquela URL no período.
A documentação da Perplexity também descreve seus próprios agentes e orientações de WAF. Confira as regras de cada serviço; a política de um fornecedor não deve ser generalizada aos demais.
Acesso liberado não significa presença garantida
Se o objetivo é participar das experiências de IA na busca do Google, a documentação do Google mantém os fundamentos de elegibilidade de Search. Uma configuração para a OpenAI não substitui a verificação de acesso e indexação no Google.
Depois de resolver a parte técnica, confira se a página atende uma intenção e apresenta informação verificável. O guia de monitoramento ajuda a registrar presença; o artigo sobre recomendações explica os limites do que se pode concluir.
Fontes e metodologia
Tutorial baseado nas documentações dos provedores, consultadas em 24/10/2026, com exemplos de configuração e diagnóstico elaborados pela Infoagents. Não são apresentados logs de crawlers reais, testes de produção de terceiros ou garantias de indexação. Valide qualquer alteração no ambiente responsável pelo site e mantenha possibilidade de reversão.