このチェッカーで確認できること
robots.txtのグループを読み取り、主要なAI検索、学習、ユーザー起点、制御トークンが明示的に指定されているか、一般クローラールールだけを継承しているかを確認します。
AIクローラーアクセス
Robots.txt AIクローラーチェッカー
robots.txtを貼り付けると、AIシステムがページを見つける前に、主要なAI検索、学習、ユーザー起点のクローラートークンが許可、ブロック、不明確のどれかを確認できます。
貼り付けて即時に確認できます。robots.txtの内容はこのデバイス内に留まります。
AIクローラールールを確認できます
robots.txtを貼り付けると、OpenAI、Anthropic、Google、Perplexity、Common Crawlに関するアクセスシグナルを確認できます。
AIクローラールールが重要な理由
robots.txtは、AI回答エンジン、ブラウジング型Agent、モデル学習クローラー、データセットクローラーが公開ページへ到達できるかに影響します。
関連するAI検索ツール
FAQ
どのAIクローラーを確認しますか？
OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot、および全クローラー向けのフォールバックルールを確認します。
GPTBotやClaudeBotは許可すべきですか？
AI検索での可視性を重視する場合は検索向けAgentの許可を検討してください。学習向けAgentは、コンテンツ再利用の管理方針に応じて別途判断するのが適切です。
robots.txtでAIシステムによるコンテンツ利用を完全に防げますか？
robots.txtは協調的なクローラー向けのアクセス方針であり、すべてのコンテンツ利用を法的または技術的に保証して防ぐものではありません。