Collez votre robots.txt pour voir si les principaux tokens de crawler IA pour la recherche, l'entraînement et les actions lancées par l'utilisateur sont autorisés, bloqués ou ambigus avant que les systèmes IA découvrent vos pages.
Collez et vérifiez instantanément. Le contenu de votre robots.txt reste sur cet appareil.
Collez robots.txt pour examiner les signaux d'accès d'OpenAI, Anthropic, Google, Perplexity et Common Crawl.
Il lit les groupes robots.txt et vérifie si les principaux agents IA pour la recherche, l'entraînement et les actions utilisateur, ainsi que les tokens de contrôle, sont explicitement couverts ou héritent seulement de règles générales de crawler.
Robots.txt peut déterminer si les moteurs de réponse IA, agents de navigation, crawlers d'entraînement de modèles et crawlers de jeux de données atteignent des pages publiques pour les découvrir ou les citer.
Examinez les signaux techniques qui influencent la découverte par les moteurs de réponse et la préparation à la citation.
Créez ou examinez le fichier de découverte destiné aux agents qui complète robots.txt.
Examinez des signaux techniques plus larges pour la découverte et l'utilisation par des agents IA.
Il vérifie OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot et CCBot, ainsi que la règle de repli pour tous les crawlers.
Autorisez les agents axés sur la recherche lorsque la visibilité dans la recherche IA compte. Évaluez séparément les agents d'entraînement lorsque le contrôle de la réutilisation du contenu est plus important.
Robots.txt est une politique d'accès pour les crawlers coopératifs, pas une garantie juridique ou technique contre toute utilisation du contenu.