Що перевіряє цей інструмент
Він читає групи robots.txt і перевіряє, чи основні AI-агенти для пошуку, навчання та дій користувача, а також керувальні токени, явно охоплені або успадковують лише загальні правила краулерів.
Доступ AI-краулерів
Перевірка AI-краулерів у Robots.txt
Вставте robots.txt, щоб дізнатися, чи дозволені, заблоковані або неясно описані основні токени AI-краулерів для пошуку, навчання та дій користувача до того, як AI-системи знайдуть ваші сторінки.
Вставте й перевірте миттєво. Вміст robots.txt залишається на цьому пристрої.
Готово до перевірки правил AI-краулерів
Вставте robots.txt, щоб перевірити сигнали доступу OpenAI, Anthropic, Google, Perplexity та Common Crawl.
Чому правила AI-краулерів важливі
Robots.txt може впливати на те, чи зможуть AI-рушії відповідей, агенти для перегляду вебу, краулери навчання моделей і краулери наборів даних дістатися публічних сторінок для виявлення або цитування.
Пов’язані інструменти AI-пошуку
Перевірка видимості в AI-пошуку
Перегляньте технічні сигнали, що впливають на виявлення рушіями відповідей і готовність до цитування.
Генератор / перевірка LLMs.txt
Створіть або перевірте файл виявлення для агентів, що доповнює robots.txt.
AI Agent Readiness
Перегляньте ширші технічні сигнали для виявлення й використання AI-агентами.
Поширені запитання
Які AI-краулери перевіряє цей інструмент?
Він перевіряє OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot і CCBot, а також резервне правило для всіх краулерів.
Чи варто дозволяти GPTBot і ClaudeBot?
Дозволяйте агентів, орієнтованих на пошук, коли важлива видимість в AI-пошуку. Агентів навчання оцінюйте окремо, коли важливіший контроль повторного використання вмісту.
Чи може robots.txt гарантувати, що AI-системи не використають мій вміст?
Robots.txt — це політика доступу для краулерів, що співпрацюють, а не юридична або технічна гарантія від будь-якого використання вмісту.