AI sistemleri sayfalarınızı bulmadan önce, arama, eğitim ve kullanıcı tarafından tetiklenen işlemler için önemli AI tarayıcı belirteçlerinin izinli, engelli veya belirsiz olup olmadığını görmek üzere robots.txt dosyanızı yapıştırın.
Yapıştırın ve anında denetleyin. robots.txt içeriğiniz bu cihazda kalır.
OpenAI, Anthropic, Google, Perplexity ve Common Crawl erişim sinyallerini incelemek için robots.txt dosyanızı yapıştırın.
robots.txt gruplarını okur; arama, eğitim ve kullanıcı işlemleri için önemli AI ajanları ile kontrol belirteçlerinin açıkça kapsanıp kapsanmadığını ya da yalnızca genel tarayıcı kurallarını devralıp devralmadığını denetler.
Robots.txt, AI yanıt motorlarının, tarayıcı ajanlarının, model eğitim tarayıcılarının ve veri kümesi tarayıcılarının keşif veya alıntı için herkese açık sayfalara erişip erişememesini etkileyebilir.
Yanıt motoru tarafından keşfi ve alıntı hazırlığını etkileyen teknik sinyalleri inceleyin.
robots.txt dosyasını tamamlayan, ajanlara yönelik keşif dosyasını oluşturun veya inceleyin.
AI ajanları tarafından keşif ve kullanım için daha geniş teknik sinyalleri inceleyin.
OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot ve CCBot ile tüm tarayıcılar için yedek kuralı denetler.
AI arama görünürlüğü önemliyse arama odaklı ajanlara izin verin. İçeriğin yeniden kullanımını denetlemek daha önemliyse eğitim ajanlarını ayrı değerlendirin.
robots.txt işbirlikçi tarayıcılar için bir erişim politikasıdır; içerik kullanımının hiçbir biçimine karşı hukuki veya teknik garanti değildir.