Apa yang diperiksa oleh alat ini
Alat ini membaca kumpulan robots.txt dan menyemak sama ada ejen AI utama untuk carian, latihan dan tindakan pengguna, serta token kawalan, diliputi secara jelas atau hanya mewarisi peraturan perayap umum.
Akses perayap AI
Pemeriksa perayap AI dalam Robots.txt
Tampal robots.txt anda untuk melihat sama ada token perayap AI utama bagi carian, latihan dan tindakan yang dicetuskan pengguna dibenarkan, disekat atau tidak jelas sebelum sistem AI menemui halaman anda.
Tampal dan semak serta-merta. Kandungan robots.txt anda kekal pada peranti ini.
Sedia untuk menyemak peraturan perayap AI
Tampal robots.txt untuk memeriksa isyarat akses OpenAI, Anthropic, Google, Perplexity dan Common Crawl.
Mengapa peraturan perayap AI penting
Robots.txt boleh mempengaruhi sama ada enjin jawapan AI, ejen pelayaran, perayap latihan model dan perayap set data boleh mencapai halaman awam untuk penemuan atau petikan.
Alat carian AI berkaitan
Pemeriksa keterlihatan carian AI
Semak isyarat teknikal yang mempengaruhi penemuan oleh enjin jawapan dan kesediaan untuk petikan.
Penjana / pemeriksa LLMs.txt
Cipta atau semak fail penemuan untuk ejen yang melengkapi robots.txt.
AI Agent Readiness
Semak isyarat teknikal yang lebih luas untuk penemuan dan penggunaan oleh ejen AI.
Soalan lazim
Perayap AI manakah yang diperiksa oleh alat ini?
Ia memeriksa OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot dan CCBot, serta peraturan sandaran untuk semua perayap.
Patutkah saya membenarkan GPTBot dan ClaudeBot?
Benarkan ejen yang berfokus pada carian apabila keterlihatan carian AI penting. Nilai ejen latihan secara berasingan apabila kawalan penggunaan semula kandungan lebih penting.
Bolehkah robots.txt menjamin sistem AI tidak akan menggunakan kandungan saya?
Robots.txt ialah dasar akses untuk perayap yang bekerjasama, bukan jaminan undang-undang atau teknikal terhadap setiap penggunaan kandungan.