Pega tu robots.txt y averigua si los principales tokens de rastreadores de IA para búsqueda, entrenamiento y acciones iniciadas por el usuario están permitidos, bloqueados o no están claros antes de que los sistemas de IA descubran tus páginas.
Pega y comprueba al instante. El contenido de robots.txt permanece en este dispositivo.
Pega robots.txt para revisar señales de acceso de OpenAI, Anthropic, Google, Perplexity y Common Crawl.
Lee los grupos de robots.txt y comprueba si los principales agentes de IA para búsqueda, entrenamiento y acciones del usuario, además de los tokens de control, están cubiertos explícitamente o solo heredan reglas generales de rastreadores.
Robots.txt puede afectar si los motores de respuesta con IA, los agentes de navegación, los rastreadores de entrenamiento de modelos y los rastreadores de conjuntos de datos pueden llegar a páginas públicas para descubrirlas o citarlas.
Revisa señales técnicas que afectan al descubrimiento de motores de respuesta y a la preparación para citas.
Crea o revisa el archivo de descubrimiento para agentes que complementa robots.txt.
Revisa señales técnicas más amplias para el descubrimiento y uso por agentes de IA.
Comprueba OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot y CCBot, además de la regla de respaldo para todos los rastreadores.
Permite agentes centrados en la búsqueda cuando la visibilidad en la búsqueda con IA sea importante. Evalúa por separado los agentes de entrenamiento cuando el control sobre la reutilización del contenido sea más importante.
Robots.txt es una política de acceso para rastreadores cooperativos, no una garantía legal o técnica contra todo uso de contenido.