AI 크롤러와 robots.txt: 검색용·학습용 구분

핵심 요약 각 서비스는 검색 결과용 봇, 학습용 봇, 사용자 요청 시 방문하는 봇을 나누어 공개합니다. 같은 서비스라도 봇별로 허용 여부를 따로 정할 수 있고, 사용자 요청 방문은 robots.txt 적용 방식이 다를 수 있습니다.

먼저 알아둘 점

robots.txt는 크롤러에게 접근 가능 범위를 알리는 파일입니다. 접근 통제 수단은 아니므로, 공개하면 안 되는 내용은 비밀번호 등 다른 방법으로 보호해야 합니다. 구글은 robots.txt 설명 문서에서 이 점을 안내합니다.

서비스별 봇 구분

아래 내용은 각 서비스가 공개한 안내를 요약한 것이며, 봇 이름과 정책은 바뀔 수 있어 설정 전에 원문을 확인합니다.

판단 순서

1. 검색 결과에 나오고 싶은가

OpenAI는 OAI-SearchBot을 허용하면 ChatGPT 검색 답변에 사이트가 나타나는 데 도움이 된다고 안내합니다. Anthropic은 Claude-SearchBot을 막으면 검색 색인에서 빠져 가시성이 낮아질 수 있다고, Perplexity는 PerplexityBot 허용을 권장한다고 안내합니다.

2. 학습에 쓰이는 것은 원하지 않는가

GPTBot과 ClaudeBot은 학습 수집용으로 안내됩니다. 학습 사용을 원하지 않으면 해당 봇만 막고, 검색용 봇은 별도로 판단할 수 있습니다. 구글은 AI 학습과 그라운딩 제한에 Google-Extended를 사용한다고 안내합니다.

3. 사용자 요청 방문은 어떻게 되는가

ChatGPT-User는 사용자 요청 방문이라 robots.txt 규칙이 적용되지 않을 수 있다고 OpenAI는 안내합니다. Perplexity-User도 일반적으로 robots.txt를 무시한다고 밝힙니다. 반면 Anthropic은 자사 봇이 robots.txt를 따른다고 안내합니다. 서비스마다 다르므로 일괄 판단하지 않습니다.

robots.txt 예시

검색용은 허용하고 학습용만 막는 형태의 예시입니다. 실제 적용 전 각 서비스의 최신 안내를 확인하세요.

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

확인하고 반영하기

• 반영 시간: OpenAI는 검색 관련 변경이 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다.
• IP 차단과의 차이: Anthropic은 IP 주소 차단이 robots.txt 확인을 막아 오히려 신뢰하기 어려운 방식이라고 안내합니다.
• 서브도메인별 설정: Anthropic은 서브도메인마다 robots.txt가 필요하다고 안내합니다.

자주 묻는 질문