네이버 블로그, 글로벌 AI검색 크롤봇 차단

안녕하세요. AI검색최적화 AtoZ 솔루션 기업 블루닷에이아이입니다.

최근 블루닷 인텔리전스 데이터를 분석하다 흥미로운 사실을 발견했습니다. 비교적 최근까지 글로벌 AI검색이 자주 인용하는 출처 중 하나가 네이버 블로그였는데요. 앞으론 이런 일은 일어나지 않을 것으로 보입니다.

네이버 쪽은 네이버 블로그의 robots.txt에 다음과 같이 AI검색 크롤봇 차단을 단행했습니다.

User-agent: Yeti
Disallow: /

BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: meta-externalAgent
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /

현재 이와 같은 규칙을 선언한 네이버 콘텐츠 플랫폼은 다음과 같습니다.

• 네이버 인플루언서
• 네이버 카페
• 네이버 뉴스
• 네이버 지식인

차단하지 않은 콘텐츠 서비스

• 네이버TV

아직 모든 사이트를 조사한 것은 아닙니다. 현재까지 파악된 것은 공유드립니다. AI검색최적화 시 참고해 보시기 바랍니다.