AI검색최적화 분석 플랫폼 '블루닷 인텔리전스'의 성공 사례를 소개해드리고자 합니다.

블루닷 인텔리전스는 3가지(빈도, 위치, 심도)의 가시성 분석 지표와 긍부정 분석, 인용 출처 분석, 콘텐츠 최적화 분석 등의 기능을 제공합니다. 고객 의도 분석도 포함돼 있습니다. 이러한 분석을 토대로 AI검색최적화를 시도했을 때 과연 기대했던 효과가 나타나는지 다들 궁금해 하십니다. 이를 증명하기 위해 저희 '블루닷 인텔리전스' 자체를 실험 대상으로 삼아 지표의 변화를 추적해 봤습니다.

실험 방식

• 실험 기간 : 5월 22일~5월 28일(7일 간)
• 측정 지표 : 빈도 가시성
• 실험 대상 콘텐츠 : [FAQ] 블루닷 인텔리전스 : 자주 묻는 질문들과 답변
• 실험 쿼리 : AI검색최적화를 도와주는 국내 플랫폼을 추천해주세요.

AI 인용을 높이기 위한 콘텐츠는 어떻게 작성했나

저희는 'AI검색최적화를 도와주는 국내 플랫폼을 추천해주세요'라고 AI검색에 묻는 고객들의 질문에 '블루닷 인텔리전스'가 상위에 인용되는 걸 목표로 잡았습니다. 그것도 저희가 직접 작성한 위 콘텐츠를 핵심 출처로 인용해야 성공한다라고 봤습니다. 핵심 가설은

"RAG의 콘텐츠 품질 기준을 충족한 콘텐츠를 인용 빈도가 높은 사이트에 게시할 경우 일주일 안에 핵심 출처로 인용할 것이다"

이를 위해 저희는 스탠다드RAG의 기본 알고리즘을 역분석해 AI검색을 위한 콘텐츠 최적화 방법을 발견했습니다. 물론 그 전부터 연구를 통해 개략적인 콘텐츠 최적화 방법은 알고 있었습니다. 대신 이 실험을 위해 '콘텐츠 최적화 분석' 기능을 개발했고, 최근에 이 메뉴를 블루닷 인텔리전스에 추가했습니다. 기본은 BM25 알고리즘과 시맨틱 유사도의 통합 점수가 높은 콘텐츠를 제작하는 것입니다.

어쩌면 가장 어려웠던 작업은 콘텐츠 제작이었다라고 말씀드릴 수 있습니다. 두 알고리즘의 통합 점수에서 높은 스코어를 받으려면 상당히 많은 자료 조사와 엄밀한 글쓰기가 요구되기 때문입니다. 또한 스키마 마크업이 확실하게 지원되는 블루닷CMS에 콘텐츠를 발행하지 않으면 그 효과는 빨리 나타나지 않습니다. 콘텐츠 제작과 발행의 가장 기본적인 조건을 충족시킨 상태에서 실험을 진행했다는 점 참고해 주시기 바랍니다.

실험은 다음과 같이 진행했습니다.

1. 콘텐츠 최적화 분석에서 70% 이상 평가받는 콘텐츠 제작하기
2. 최근 30일 간 가장 인용 빈도가 높은 사이트에 발행하기
3. AI검색이 이해하기 쉬운 FAQ 포맷으로 작성하고 스키마 마크업 추가하기

실험 결과는?

블루닷 인텔리전스의 인용 출처 분석을 통해 AI검색이 가장 인용을 많이 하는 사이트가 저희가 보유한 공식 사이트라는 걸 알 수 있었습니다. 따라서 저희는 bluedot.so 의 하위 도메인을 사용하고 있는 블루닷 블로그에 위 콘텐츠를 발행했습니다. 5월 22일 오전입니다. (5월21일 오후 5시에 초안 배포하고 22일 오전에 약간 내용 첨부를 해서 다시 발행했습니다.)

이후 특별한 액션을 취하지 않고 약 7일 동안 데이터의 변화량을 추적했습니다. 다시 말씀드리지만 저희의 목표는 일단 'AI검색최적화를 도와주는 국내 플랫폼을 추천해주세요'라는 질문에 '블루닷 인텔리전스'의 언급 빈도와 위치가 우상향하는 것이었습니다.

아래는 3개 AI 검색(ChatGPT, Google AI Overviews, Perplexity)에서 해당 질문에 '블루닷 인텔리전스'를 언급한 빈도수 변화량입니다. 글을 발행한 지 약 3일 뒤에 최고치를 찍는다는 걸 알 수 있습니다. AI검색마다 크롤링 주기가 다르기 때문에 차이는 존재합니다. 하지만 대략적으로 작성한 콘텐츠가 AI검색의 필터를 거쳐 인용의 재료로 활용되는 건 3일 내외라는 걸 알 수 있습니다. 이는 다른 실험을 통해서도 확인이 됩니다. 상대적으로 크롤링 주기가 긴(느린) 쪽은 ChatGPT인 것으로 확인이 됐습니다.

위치 가시성도 빈도 가시성과 비슷한 그래프를 그렸습니다. 블루닷 인텔리전스의 '위치 가시성'은 답변의 초반에 언급될수록 높은 점수를 받습니다. 뒷 부분에 언급되면 점수가 낮아지는 방식입니다. 만약 답변 초반에, 중반에, 후반에 여러 차례 등장을 하게 되면, 가중치가 달라져서 다른 점수값을 얻게 됩니다. 즉, 초반부엔 더 높은 가중치, 후반부엔 낮은 가중치가 적용이 되는 방식으로 계산이 되는 셈입니다.

몇 가지 인사이트

이번 실험을 통해 저희는 다음과 같은 인사이트를 얻을 수가 있었습니다.

• AI검색은 가기성의 변동성이 큰 편이다 : AI검색에 최적화한 콘텐츠를 작성하는 과정도 어렵지만 작성한다고 해서 안정적으로 계속 높은 가시성을 유지하는 것은 아니라는 사실입니다. 3일 이후에 가시성이 낮아지는 경향을 위에서도 발견할 수 있을 텐데요. 이런 경우가 (저희 고객사 사례에서) 자주 관찰이 됩니다.
• ChatGPT는 도메인 전문성을 높게 본다 : Knowledge Graph가 엄격하게 작동하는 듯합니다. 해당 사이트에서 자주 출현하는 엔티티의 관계를 깊이 있게 분석해서 해당 사이트나 글이 그 분야 전문성과 권위를 충분히 가지고 있는지를 비중 있게 처리한다는 의미입니다. 키워드 빈도로 해결할 수 없는 문제입니다. 이 경향은 확실히 다른 AI검색에 비해 두드러지게 나타납니다.
• 지속적인 콘텐츠 업데이트 및 관리가 필요합니다 : 높은 품질의 관련 콘텐츠를 제작했다고 하더라도 이후에 더 나은 콘텐츠가 웹상에 존재하면 이를 인용하는 경향이 보였습니다. 결국 해당 콘텐츠의 품질을 최상으로 유지하기 위한 후속 노력이 필요하다는 걸 알 수 있었습니다. 이 항목은 추후에 관찰이 더 필요한 대목입니다.