यह चेकर क्या देखता है
यह robots.txt समूहों को पढ़ता है और जांचता है कि खोज, प्रशिक्षण और उपयोगकर्ता कार्यों के प्रमुख AI एजेंट तथा कंट्रोल टोकन स्पष्ट रूप से शामिल हैं या केवल सामान्य क्रॉलर नियमों को अपनाते हैं।
AI क्रॉलर एक्सेस
Robots.txt AI क्रॉलर चेकर
AI सिस्टम के आपके पेज खोजने से पहले robots.txt पेस्ट करके देखें कि खोज, प्रशिक्षण और उपयोगकर्ता द्वारा शुरू किए गए कार्यों के प्रमुख AI क्रॉलर टोकन अनुमति प्राप्त, अवरुद्ध या अस्पष्ट हैं।
पेस्ट करें और तुरंत जांचें। आपका robots.txt कंटेंट इसी डिवाइस पर रहता है।
AI क्रॉलर नियम जांचने के लिए तैयार
OpenAI, Anthropic, Google, Perplexity और Common Crawl के एक्सेस संकेतों की जांच करने के लिए robots.txt पेस्ट करें।
AI क्रॉलर नियम क्यों महत्वपूर्ण हैं
robots.txt इस बात को प्रभावित कर सकता है कि AI उत्तर इंजन, ब्राउज़िंग एजेंट, मॉडल-प्रशिक्षण क्रॉलर और डेटासेट क्रॉलर खोज या उद्धरण के लिए सार्वजनिक पेजों तक पहुंच सकते हैं या नहीं।
संबंधित AI खोज टूल
AI खोज दृश्यता चेकर
उत्तर इंजनों द्वारा खोज और उद्धरण की तैयारी को प्रभावित करने वाले तकनीकी संकेतों की समीक्षा करें।
LLMs.txt जनरेटर / चेकर
robots.txt को पूरा करने वाली एजेंट-उन्मुख डिस्कवरी फाइल बनाएं या जांचें।
AI Agent Readiness
AI एजेंट द्वारा खोज और उपयोग के लिए व्यापक तकनीकी संकेतों की समीक्षा करें।
अक्सर पूछे जाने वाले प्रश्न
यह टूल किन AI क्रॉलर को जांचता है?
यह OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot और CCBot के साथ सभी क्रॉलर के लिए फॉलबैक नियम जांचता है।
क्या मुझे GPTBot और ClaudeBot को अनुमति देनी चाहिए?
जब AI खोज दृश्यता महत्वपूर्ण हो, तब खोज-केंद्रित एजेंट को अनुमति दें। जब कंटेंट के पुन: उपयोग पर नियंत्रण अधिक महत्वपूर्ण हो, तो प्रशिक्षण एजेंट का अलग से मूल्यांकन करें।
क्या robots.txt गारंटी दे सकता है कि AI सिस्टम मेरे कंटेंट का उपयोग नहीं करेंगे?
robots.txt सहयोगी क्रॉलर के लिए एक्सेस नीति है, यह कंटेंट के हर उपयोग के विरुद्ध कानूनी या तकनीकी गारंटी नहीं है।