Incolla il tuo robots.txt e scopri se i principali token dei crawler AI per ricerca, addestramento e azioni avviate dagli utenti sono consentiti, bloccati o poco chiari prima che i sistemi AI trovino le tue pagine.
Incolla e controlla subito. Il contenuto di robots.txt rimane su questo dispositivo.
Incolla robots.txt per esaminare i segnali di accesso di OpenAI, Anthropic, Google, Perplexity e Common Crawl.
Legge i gruppi di robots.txt e verifica se i principali agenti AI per ricerca, addestramento e azioni dell'utente, oltre ai token di controllo, sono coperti esplicitamente o ereditano soltanto regole generali per crawler.
Robots.txt può influire sulla possibilità per motori di risposta AI, agenti di navigazione, crawler per l'addestramento dei modelli e crawler di dataset di raggiungere pagine pubbliche per scoperta o citazione.
Esamina i segnali tecnici che influenzano la scoperta da parte dei motori di risposta e la predisposizione alla citazione.
Crea o controlla il file di discovery orientato agli agenti che integra robots.txt.
Esamina segnali tecnici più ampi per la scoperta e l'uso da parte di agenti AI.
Controlla OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot e CCBot, oltre alla regola di fallback per tutti i crawler.
Consenti gli agenti orientati alla ricerca quando la visibilità nella ricerca AI è importante. Valuta separatamente gli agenti di addestramento quando il controllo sul riuso dei contenuti è più importante.
Robots.txt è una politica di accesso per crawler collaborativi, non una garanzia legale o tecnica contro ogni utilizzo dei contenuti.