這個工具檢查什麼
它會讀取 robots.txt 群組，判斷主要 AI 搜尋、訓練、使用者觸發與控制 token 是否個別涵蓋，還是只繼承一般爬蟲規則。
AI 爬蟲存取規則
Robots.txt AI 爬蟲檢查器
在 AI 系統發現你的頁面之前，貼上 robots.txt，檢查主要 AI 搜尋、訓練與使用者觸發爬蟲 token 是允許、封鎖還是規則不清。
立即貼上並檢查。robots.txt 內容只會留在目前裝置。
準備檢查 AI 爬蟲規則
貼上 robots.txt 後，可檢查 OpenAI、Anthropic、Google、Perplexity 與 Common Crawl 的存取訊號。
為什麼 AI 爬蟲規則很重要
robots.txt 會影響 AI 回答引擎、瀏覽型 Agent、模型訓練爬蟲與資料集爬蟲能否存取公開頁面，進而影響發現或引用。
相關 AI 搜尋工具
常見問題
這個工具會檢查哪些 AI 爬蟲？
會檢查 OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot，以及通用爬蟲規則。
我應該允許 GPTBot 和 ClaudeBot 嗎？
如果你重視 AI 搜尋能見度，應優先允許搜尋型 Agent；訓練型 Agent 要依內容再利用控制政策另行判斷。
robots.txt 能保證 AI 系統不使用內容嗎？
robots.txt 是給合作爬蟲看的存取政策，不是對所有內容使用情況的法律或技術保證。