O que este verificador analisa
Ele lê os grupos do robots.txt e verifica se agentes importantes de IA para busca, treinamento e ações do usuário, além de tokens de controle, estão explicitamente cobertos ou apenas herdam regras gerais de crawler.
Acesso de crawlers de IA
Verificador de crawlers de IA no Robots.txt
Cole o robots.txt para saber se os principais tokens de crawler de IA para busca, treinamento e ações iniciadas pelo usuário estão permitidos, bloqueados ou indefinidos antes de sistemas de IA encontrarem suas páginas.
Cole e verifique na hora. O conteúdo do robots.txt permanece neste dispositivo.
Pronto para verificar regras de crawlers de IA
Cole o robots.txt para analisar sinais de acesso de OpenAI, Anthropic, Google, Perplexity e Common Crawl.
Por que as regras de crawlers de IA importam
O robots.txt pode afetar se mecanismos de resposta por IA, agentes de navegação, crawlers de treinamento de modelos e crawlers de conjuntos de dados conseguem acessar páginas públicas para descoberta ou citação.
Ferramentas relacionadas de busca por IA
Verificador de visibilidade em busca por IA
Revise sinais técnicos que afetam a descoberta por mecanismos de resposta e a prontidão para citação.
Gerador / verificador de LLMs.txt
Crie ou revise o arquivo de descoberta voltado a agentes que complementa o robots.txt.
AI Agent Readiness
Revise sinais técnicos mais amplos para descoberta e uso por agentes de IA.
Perguntas frequentes
Quais crawlers de IA esta ferramenta verifica?
Ela verifica OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot e CCBot, além da regra de fallback para todos os crawlers.
Devo permitir GPTBot e ClaudeBot?
Permita agentes voltados à busca quando a visibilidade em buscas por IA for importante. Avalie agentes de treinamento separadamente quando o controle de reutilização de conteúdo for mais importante.
O robots.txt pode garantir que sistemas de IA não usarão meu conteúdo?
O robots.txt é uma política de acesso para crawlers cooperativos, não uma garantia legal ou técnica contra todo uso de conteúdo.