Was dieser Prüfer analysiert
Er liest robots.txt-Gruppen und prüft, ob wichtige KI-Agenten für Suche, Training und nutzergesteuerte Abrufe sowie Kontroll-Tokens ausdrücklich abgedeckt sind oder nur allgemeine Crawler-Regeln erben.
Zugriff für KI-Crawler
Robots.txt-Prüfer für KI-Crawler
Fügen Sie Ihre robots.txt ein und sehen Sie, ob wichtige KI-Crawler-Tokens für Suche, Training und nutzergesteuerte Abrufe erlaubt, blockiert oder unklar sind, bevor KI-Systeme Ihre Seiten finden.
Einfügen und sofort prüfen. Der Inhalt Ihrer robots.txt bleibt auf diesem Gerät.
Bereit zum Prüfen von KI-Crawler-Regeln
Fügen Sie robots.txt ein, um Zugriffssignale von OpenAI, Anthropic, Google, Perplexity und Common Crawl zu prüfen.
Warum Regeln für KI-Crawler wichtig sind
Robots.txt kann beeinflussen, ob KI-Antwortsysteme, Browser-Agenten, Crawler für Modelltraining und Datensatz-Crawler öffentliche Seiten zur Entdeckung oder Zitierung erreichen können.
Verwandte Tools für KI-Suche
Prüfer für Sichtbarkeit in der KI-Suche
Prüfen Sie technische Signale, die die Entdeckung durch Antwortsysteme und die Zitierbereitschaft beeinflussen.
LLMs.txt-Generator / -Prüfer
Erstellen oder prüfen Sie die agentenorientierte Discovery-Datei, die robots.txt ergänzt.
AI Agent Readiness
Prüfen Sie weitergehende technische Signale für Entdeckung und Nutzung durch KI-Agenten.
FAQ
Welche KI-Crawler prüft dieses Tool?
Es prüft OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot und CCBot sowie die Fallback-Regel für alle Crawler.
Sollte ich GPTBot und ClaudeBot erlauben?
Erlauben Sie suchorientierte Agenten, wenn Sichtbarkeit in der KI-Suche wichtig ist. Bewerten Sie Trainingsagenten separat, wenn die Kontrolle über die Wiederverwendung von Inhalten wichtiger ist.
Kann robots.txt garantieren, dass KI-Systeme meine Inhalte nicht nutzen?
Robots.txt ist eine Zugriffsrichtlinie für kooperative Crawler, keine rechtliche oder technische Garantie gegen jede Nutzung von Inhalten.