这个工具检查什么
它会读取 robots.txt 分组，判断主要 AI 搜索、训练、用户触发和控制 token 是被单独覆盖，还是只继承通用爬虫规则。
AI 爬虫访问规则
Robots.txt AI 爬虫检查器
在 AI 系统发现你的页面之前，粘贴 robots.txt，检查主要 AI 搜索、训练和用户触发爬虫 token 是允许、阻止还是规则不清。
即时粘贴和检查。robots.txt 内容只保留在当前设备上。
准备检查 AI 爬虫规则
粘贴 robots.txt 后，可检查 OpenAI、Anthropic、Google、Perplexity 和 Common Crawl 相关访问信号。
为什么 AI 爬虫规则重要
robots.txt 会影响 AI 答案引擎、浏览型 Agent、模型训练爬虫和数据集爬虫能否访问公开页面，从而影响发现或引用。
相关 AI 搜索工具
常见问题
这个工具会检查哪些 AI 爬虫？
会检查 OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot，以及通用爬虫规则。
我应该允许 GPTBot 和 ClaudeBot 吗？
如果你重视 AI 搜索可见性，应优先允许搜索型 Agent；训练型 Agent 要单独判断，取决于你是否希望控制内容再利用。
robots.txt 能保证 AI 系统不使用内容吗？
robots.txt 是给合作爬虫看的访问策略，不是对所有内容使用场景的法律或技术保证。