מה הכלי בודק
הוא קורא קבוצות robots.txt ובודק אם זחלני AI מרכזיים לחיפוש, אימון ופעולות ביוזמת משתמש, וכן טוקני בקרה, מכוסים במפורש או יורשים רק כללים כלליים לזחלנים.
גישת זחלני AI
בודק זחלני AI ב-Robots.txt
הדביקו robots.txt וראו אם טוקנים מרכזיים של זחלני AI לחיפוש, אימון ופעולות ביוזמת משתמש מותרים, חסומים או לא ברורים לפני שמערכות AI מגלות את הדפים שלכם.
הדביקו ובדקו מיד. תוכן robots.txt נשאר במכשיר הזה.
מוכן לבדיקת כללי זחלני AI
הדביקו robots.txt כדי לבדוק אותות גישה של OpenAI, Anthropic, Google, Perplexity ו-Common Crawl.
למה כללי זחלני AI חשובים
robots.txt יכול להשפיע על היכולת של מנועי תשובות AI, סוכנים גולשים, זחלני אימון מודלים וזחלני מאגרי נתונים להגיע לדפים ציבוריים לצורך גילוי או ציטוט.
כלי חיפוש AI קשורים
שאלות נפוצות
אילו זחלני AI הכלי בודק?
הוא בודק OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot ו-CCBot, בנוסף לכלל הכללי לכל הזחלנים.
האם כדאי לאפשר GPTBot ו-ClaudeBot?
אפשרו Agent ממוקדי חיפוש כאשר נראות בחיפוש AI חשובה. התייחסו ל-Agent של אימון בנפרד כאשר שליטה בשימוש חוזר בתוכן חשובה יותר.
האם robots.txt מבטיח שמערכות AI לא ישתמשו בתוכן?
robots.txt הוא מדיניות גישה לזחלנים משתפי פעולה, ולא ערובה משפטית או טכנית נגד כל שימוש בתוכן.