ما الذي يفحصه هذا الأداة
يقرأ مجموعات robots.txt ويفحص ما إذا كانت زواحف AI الرئيسية للبحث والتدريب والطلبات التي يطلقها المستخدم ورموز التحكم مغطاة صراحة أو ترث قواعد الزواحف العامة فقط.
وصول زواحف AI
فاحص زواحف AI في Robots.txt
الصق robots.txt لمعرفة ما إذا كانت رموز زواحف AI الرئيسية للبحث والتدريب والطلبات التي يطلقها المستخدم مسموحة أو محظورة أو غير واضحة قبل أن تكتشف أنظمة AI صفحاتك.
الصق وافحص فورًا. يبقى محتوى robots.txt على هذا الجهاز.
جاهز لفحص قواعد زواحف AI
الصق robots.txt لفحص إشارات وصول OpenAI وAnthropic وGoogle وPerplexity وCommon Crawl.
لماذا تهم قواعد زواحف AI
يمكن أن يؤثر robots.txt في قدرة محركات الإجابة AI والوكلاء المتصفحين وزواحف تدريب النماذج وزواحف مجموعات البيانات على الوصول إلى الصفحات العامة لاكتشافها أو الاستشهاد بها.
أدوات بحث AI ذات صلة
الأسئلة الشائعة
ما زواحف AI التي يفحصها؟
يفحص OAI-SearchBot وGPTBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User وGoogle-Extended وPerplexityBot وCCBot، إضافة إلى القاعدة العامة لكل الزواحف.
هل يجب السماح لـ GPTBot وClaudeBot؟
اسمح للوكلاء الموجهين للبحث عندما يكون ظهور بحث AI مهمًا. تعامل مع وكلاء التدريب بشكل منفصل عندما يكون التحكم في إعادة استخدام المحتوى أهم.
هل يضمن robots.txt أن أنظمة AI لن تستخدم المحتوى؟
robots.txt سياسة وصول للزواحف المتعاونة، وليس ضمانًا قانونيًا أو تقنيًا ضد كل استخدام للمحتوى.