Apa yang diperiksa alat ini
Alat ini membaca grup robots.txt dan memeriksa apakah agen AI utama untuk pencarian, pelatihan, dan tindakan pengguna, serta token kontrol, dicakup secara eksplisit atau hanya mewarisi aturan crawler umum.
Akses crawler AI
Pemeriksa crawler AI di Robots.txt
Tempel robots.txt Anda untuk melihat apakah token crawler AI utama untuk pencarian, pelatihan, dan tindakan yang dipicu pengguna diizinkan, diblokir, atau tidak jelas sebelum sistem AI menemukan halaman Anda.
Tempel dan periksa seketika. Konten robots.txt Anda tetap berada di perangkat ini.
Siap memeriksa aturan crawler AI
Tempel robots.txt untuk memeriksa sinyal akses OpenAI, Anthropic, Google, Perplexity, dan Common Crawl.
Mengapa aturan crawler AI penting
Robots.txt dapat memengaruhi apakah mesin jawaban AI, agen penjelajah, crawler pelatihan model, dan crawler set data dapat mencapai halaman publik untuk penemuan atau sitasi.
Alat pencarian AI terkait
Pemeriksa visibilitas pencarian AI
Tinjau sinyal teknis yang memengaruhi penemuan oleh mesin jawaban dan kesiapan sitasi.
Generator / pemeriksa LLMs.txt
Buat atau tinjau file penemuan untuk agen yang melengkapi robots.txt.
AI Agent Readiness
Tinjau sinyal teknis yang lebih luas untuk penemuan dan penggunaan oleh agen AI.
FAQ
Crawler AI apa saja yang diperiksa alat ini?
Alat ini memeriksa OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot, dan CCBot, beserta aturan fallback untuk semua crawler.
Haruskah saya mengizinkan GPTBot dan ClaudeBot?
Izinkan agen yang berfokus pada pencarian ketika visibilitas pencarian AI penting. Nilai agen pelatihan secara terpisah ketika kontrol penggunaan ulang konten lebih penting.
Dapatkah robots.txt menjamin sistem AI tidak akan menggunakan konten saya?
Robots.txt adalah kebijakan akses untuk crawler yang kooperatif, bukan jaminan hukum atau teknis terhadap setiap penggunaan konten.