네이버 블로그, 글로벌 AI검색 크롤봇 차단

안녕하세요. AI검색최적화 AtoZ 솔루션 기업 블루닷에이아이입니다.

최근 블루닷 인텔리전스 데이터를 분석하다 흥미로운 사실을 발견했습니다. 비교적 최근까지 글로벌 AI검색이 자주 인용하는 출처 중 하나가 네이버 블로그였는데요. 앞으론 이런 일은 일어나지 않을 것으로 보입니다.

네이버 쪽은 네이버 블로그의 robots.txt에 다음과 같이 AI검색 크롤봇 차단을 단행했습니다.

User-agent: Yeti
Disallow: /

BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: meta-externalAgent
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /

현재 이와 같은 규칙을 선언한 네이버 콘텐츠 플랫폼은 다음과 같습니다.

차단하지 않은 콘텐츠 서비스

네이버TV

아직 모든 사이트를 조사한 것은 아닙니다. 현재까지 파악된 것은 공유드립니다. AI검색최적화 시 참고해 보시기 바랍니다.

블루닷 AI 연구센터

블루닷AI 연구센터는 AI검색최적화에 필요한 기술 및 콘텐츠 연구를 수행합니다. 특히 AI 검색 기술의 기반이 되는 RAG 기술의 진전에 높은 관심을 갖고, 역분석하는 업무를 주로 진행합니다.

작가와 대화를 시작하세요.