Co sprawdza to narzędzie
Odczytuje grupy robots.txt i sprawdza, czy główni agenci AI do wyszukiwania, trenowania i działań użytkownika oraz tokeny kontrolne są wyraźnie objęte regułami, czy tylko dziedziczą ogólne zasady crawlerów.
Dostęp crawlerów AI
Sprawdzanie crawlerów AI w Robots.txt
Wklej robots.txt, aby sprawdzić, czy główne tokeny crawlerów AI do wyszukiwania, trenowania i działań uruchamianych przez użytkownika są dozwolone, zablokowane lub niejednoznaczne, zanim systemy AI odkryją Twoje strony.
Wklej i sprawdź od razu. Zawartość robots.txt pozostaje na tym urządzeniu.
Gotowe do sprawdzenia reguł crawlerów AI
Wklej robots.txt, aby sprawdzić sygnały dostępu OpenAI, Anthropic, Google, Perplexity i Common Crawl.
Dlaczego reguły crawlerów AI są ważne
Robots.txt może wpływać na to, czy silniki odpowiedzi AI, agenci przeglądający, crawlery treningu modeli i crawlery zbiorów danych dotrą do publicznych stron w celu odkrywania lub cytowania.
Powiązane narzędzia wyszukiwania AI
Sprawdzanie widoczności w wyszukiwaniu AI
Przejrzyj sygnały techniczne wpływające na odkrywanie przez silniki odpowiedzi i gotowość do cytowania.
Generator / sprawdzanie LLMs.txt
Utwórz lub sprawdź plik wykrywania dla agentów, który uzupełnia robots.txt.
AI Agent Readiness
Przejrzyj szersze sygnały techniczne dotyczące odkrywania i użycia przez agentów AI.
FAQ
Jakie crawlery AI sprawdza to narzędzie?
Sprawdza OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot i CCBot oraz regułę awaryjną dla wszystkich crawlerów.
Czy powinienem zezwolić na GPTBot i ClaudeBot?
Zezwalaj na agentów nastawionych na wyszukiwanie, gdy widoczność w wyszukiwaniu AI jest ważna. Agentów treningowych oceniaj oddzielnie, gdy ważniejsza jest kontrola ponownego wykorzystania treści.
Czy robots.txt może zagwarantować, że systemy AI nie użyją moich treści?
Robots.txt to polityka dostępu dla współpracujących crawlerów, a nie prawna ani techniczna gwarancja przeciw każdemu użyciu treści.