이 검사기가 확인하는 것
robots.txt 그룹을 읽고 주요 AI 검색, 학습, 사용자 트리거, 제어 토큰이 명시적으로 지정되어 있는지 또는 일반 크롤러 규칙만 상속하는지 확인합니다.
AI 크롤러 접근
Robots.txt AI 크롤러 검사기
AI 시스템이 페이지를 발견하기 전에 robots.txt를 붙여 넣어 주요 AI 검색, 학습, 사용자 트리거 크롤러 토큰이 허용, 차단, 불명확 중 어디에 해당하는지 확인하세요.
붙여 넣고 즉시 확인합니다. robots.txt 내용은 현재 기기에만 남습니다.
AI 크롤러 규칙을 확인할 준비가 되었습니다
robots.txt를 붙여 넣으면 OpenAI, Anthropic, Google, Perplexity, Common Crawl 관련 접근 신호를 확인할 수 있습니다.
AI 크롤러 규칙이 중요한 이유
robots.txt는 AI 답변 엔진, 브라우징형 Agent, 모델 학습 크롤러, 데이터셋 크롤러가 공개 페이지에 접근할 수 있는지에 영향을 줄 수 있습니다.
관련 AI 검색 도구
FAQ
어떤 AI 크롤러를 확인하나요?
OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, PerplexityBot, CCBot 및 전체 크롤러 대체 규칙을 확인합니다.
GPTBot과 ClaudeBot을 허용해야 하나요?
AI 검색 가시성이 중요하다면 검색 중심 Agent 허용을 검토하세요. 학습 중심 Agent는 콘텐츠 재사용 통제 방침에 따라 별도로 판단하는 것이 좋습니다.
robots.txt로 AI 시스템의 콘텐츠 사용을 완전히 막을 수 있나요?
robots.txt는 협력적인 크롤러를 위한 접근 정책이며, 모든 콘텐츠 사용을 법적 또는 기술적으로 보장해 막는 장치는 아닙니다.