고객분들을 많나면 자주 여쭤보는 질문 중에 다음과 같은 게 있습니다.

"왜 AI검색은 대형 언론사의 기사가 아니라 전문지나 전문 유튜버의 콘텐츠를 더 많이 인용하나요?"

AI검색최적화 분석 도구 '블루닷 인텔리전스'의 '인용 출처 분석' 메뉴를 이용하다 보면 상위 인용 출처에 전문지나 전문 유튜브 채널, 전문 블로그가 자주 등장하게 되는데요. 이러한 결과 데이터를 보면서 이러한 궁금증을 가지게 됩니다. SEO와는 제법 다른 결과탓에 '뭔가 문제 있는 거 아니야'라고 오해하시는 경향들도 있습니다. 이 궁금증을 오늘 풀어드리도록 하겠습니다. 다소 기술적인 용어가 나오더라도 이해를 해주시기 바랍니다.

AI검색이 '토픽 권위도'를 측정하는 방식

AI검색최적화(AIEO), 혹은 GEO(Generative Engine Optimization)의 작동 방식을 이해하려면 엔티티(Entity)라는 개념을 먼저 이해해야 합니다. 위키피디아에 따르면 엔티티란 "엔티티(entity)는 속성 의 변경과 무관한 신원(identity)을 가진 객체 입니다 . 엔티티는 사용자에게 중요한 장기 정보를 나타내며 일반적으로 데이터베이스 에 저장됩니다."라고 정의하고 있습니다. 다소 어렵게 느껴지죠? 조금더 쉽게 설명하자면 글에서 사용되는 사람, 장소, 조직, 개념 따위의 특성을 드러내는 단어들이라고 말할 수 있습니다. 예를 들어 보겠습니다. '블루닷 인텔리전스는 GEO를 위한 한국 최고의 도구'라는 문장이 있다고 가정해 봅시다. 여기서 블루닷 인텔리전스, GEO 등이 하나의 엔티티라고 할 수 있습니다. 블루닷 인텔리전스는 제품명이고, GEO는 생성형엔진최적화라는 개념어입니다. 한국은 장소 혹은 위치 엔티티입니다. 우리는 하나의 글을 작성할 때 이러한 조직, 사람, 제품, 장소 등을 여러 개, 그리고 여러 차례 사용을 하게 됩니다. 즉 하나의 문장에도, 또는 문단에도, 하나의 글에도 다양한 엔티티를 상징하는 단어들을 사용하게 되죠.

하나의 글에 워낙 많은 엔티티가 등장할 수 있기에 검색엔진들은 그 가운데 어떤 엔티티가 나름 비중있게 사용됐느냐를 측정해야 합니다. 모든 개념어들, 장소나 사람을 같은 비중으로 다루게 되면 정작 해당 글이 어떤 주제에 중점을 두고 작성됐는지 판별하기가 어렵죠. 이를 위해 '엔티티 현저성'(Entity Salience) 을 측정하게 됩니다. 하나의 문서에서 사용한 단어 가운데 어떤 단어(엔티티)가 가치있게 사용됐는지를 판별하는 과정이자 계산법입니다. 통상 해당 엔티티가 문서 안에서 등장한 위치(위치 가중치), 문법적 역할, 언급 빈도, 지식 그래프 내의 연결성 등을 살피게 되죠. 이런 측정 과정을 통해 해당 문서에서 비중있게 다루고 있는 핵심 엔티티를 추출할 수 있게 되고, 이 글의 중요한 토픽, 즉 주제를 파악할 수가 있게 되는 것입니다.

그 글의 토픽을 알아냈다고 해서, 해당 사이트가 그 분야의 토픽 전문성과 권위도를 갖추고 있느냐를 보증할 수는 없습니다. 이를 위해 사이트 전반의 토픽 권위도를 계산하게 되는데요. 아주 심플하게는 이렇게 측정합니다.

• 심플한 토픽 권위도 = A라는 토픽으로 작성한 문서의 양(트래픽) / 전체 문서의 수(트래픽) * 100

만약 '가'라는 뉴스 사이트가 최근 한 달 간 100개의 기사를 생산했다고 가정해 봅시다. 하지만 A라는 토픽을 다룬 기사가 1건뿐이었다고 하면, (1/100)*100=0.01, 다시 말해 1%의 토픽 권위도 점수를 지닌다고 할 수 있습니다. 트래픽을 얻기 위해 관련 없는 주제를 간헐적으로 다룰 경우 토픽 권위도 점수가 낮게 나올 수밖에 없는 것이죠. 최고 품질의 기사를 작성했지만, 그 사이트가 그동안 다뤄왔던 주제와 거리가 먼 주제였다면 높은 토픽 권위도 점수를 받기가 어렵습니다.

AI검색은 여기에 한 단계 더 들어갑니다. 지식 그래프를 통한 가중치 적용입니다. 지식 그래프(Knowledge Graph)는 엔티티 간의 관계를 설명해주는 네트워크 맵입니다. A라는 엔티티와 B라는 엔티티가 어떤 관계인지, 그 관계의 강도는 어떠한지 정량화해서 보여주는 네트워크 데이터베이스라고 할 수 있습니다. 예를 들어, 인공지능과 AI라는 엔티티는 사실 동일한 단어죠. 둘은 의미상 같습니다. 당연히 관계 강도가 매우 높게 나타나겠죠. 애플과 맥북도 비슷합니다. 동일한 단어는 아니지만, 애플이 출시하는 제품 중 하나이기에 둘은 밀접한 관계를 지닐 수밖에 없습니다.

엔티티 현저성이 높고 지식 그래프를 통해 사용한 엔티티(용어)의 밀도가 높다면 해당 글은 높은 권위도를 갖게 될 것입니다.  키워드 매칭과 스터핑으로 단기간의 효과를 볼 수 있었던 SEO 기법은 그래서 AI검색 시대엔 잘 작동하지 않게 됩니다.

왜 AI검색은 버티컬 미디어 즉 전문지 선호하나

위 과정을 이해하는 게 쉽지 않으셨죠? 하지만 이러한 이해가 바탕이 돼 있지 않으면 AI검색최적화를 실행하는 건 어렵습니다. 수많은 측정 지표를 바탕으로 하나의 문서에 권위를 부여하고 전문성 값을 산출해내기 때문입니다.

원래 질문으로 돌아가겠습니다. 왜 AI검색은 전문지 혹은 버티컬 미디어를 선호하는가. 위 포스코의 사례를 통해 종합지와 전문지를 비교해 보시기 바랍니다. 포스코와 관련한 질문에서 가장 자주 인용되는 사이트는 snmnews.com이라는 사이트입니다. 철강금속신문이라는 철강 전문 인터넷 신문입니다. 한국경제신문 웹사이트도 비교적 상위에 등장하긴 하지만 인용횟수 측면에선 상당한 간극이 발생합니다. 포스코 뉴스룸이 높은 토픽 권위도를 지니는 건 어쩌면 당연해 보이고요.

포스코라는 엔티티 하나만으로 해당 사이트와 기사의 전문성을 위 과정을 통해 평가해 보시기 바랍니다. 해당 기사의 토픽 권위도는 핵심 엔티티가 무엇인지, 그리고 하나의 기사 안에서 사용된 엔티티 간의 밀도는 어느 정도인지를 먼저 판단해 점수화합니다. 그리고 해당 사이트의 토픽 권위도를 측정하기 위해 전체 작성된 기사에서 해당 엔티티를 핵심 주제로 포함한 문서가 몇 개인지를 또 계산하게 되죠. 상식적으로 판단하기에도 전문지가 우월할 수밖에 없는 구조입니다.

물론 모든 AI검색이 이러한 단순 함수식에 의해 중요한 문서를 추출해내지는 않을 겁니다. 예를 들어 제휴를 맺은 언론사라면 일부로라도 화이트리스트를 만들고, 그들에게 추가적인 토픽 권위도 가중치를 적용할 수도 있습니다. 이는 개별 AI검색의 정채에 의해 결정되는 요소라 여기서 구체적으로 언급하긴 어렵습니다. 다들 다른 정책들을 가지고 있을 테니까요.

유튜브 채널도 마찬가지입니다. 유튜브 채널을 하나의 미디어, 혹은 언론사라고 가정하면, 하나하나마다 토픽 권위도를 계산하게 될 겁니다. 그리고 전반적으로 다루는 주제의 정도를 파악하게 될 것이고요.

결과적으로 종합지는 낮은 토픽 권위도를 기록할 수밖에 없는 구조입니다. 게다가 해당 토픽의 길이가 짧거나 내용이 깊지 않으면 다음과 같은 심층도의 차이를 나타나게 됩니다.

• 얕은 글: "컴퓨터" → "프로그래밍" → "AI" (깊이 2-3)
• 깊은 글: "컴퓨터" → "머신러닝" → "딥러닝" → "CNN" → "ResNet" → "Skip Connection" (깊이 6)

이는 고스란히 지식 그래프의 구조적 깊이, 나아가 '토픽 특화도'(Topic Specialty)에 영향을 미치게 되죠. 전문지에 비해 얕은 전문성과 특화도를 지닌 문서를 AI검색이 인용 대상으로 삼게 될 경우 자칫 환각 현상(hallucination)을 초래할 수도 있게 됩니다. AI검색으로선 불가피하게 토픽 권위도가 높으면서도 전반적인 토픽 일관성을 지닌 사이트를 선호할 수밖에 없게 되는 겁니다.

AIEO 혹은 GEO에 주는 시사점과 팁

이를 바탕으로 AI검색최적화 팁을 몇 가지 도출해 보도록 하겠습니다. 당연히 블루닷 인텔리전스는 이러한 이해를 바탕으로 '콘텐츠 최적화 분석'을 제안해줍니다.

• 하나의 글은 하나의 토픽을 다루는 게 좋다 : 토픽 권위도를 높이기 위해서입니다. 하나의 글이 여러 토픽을 다루는 경우가 많지 않긴 하지만, 기왕 다루게 된다면 하나의 주제를 다소 밀도 있게 심층적으로 다루는 것이 중요하다는 의미입니다. 용어(엔티티)의 사용에 있어서도 하위 개념어들이 잘 연결돼 있는 깊이 있는 다양성을 추가할 필요가 있습니다.
• 생소한 엔티티는 반드시 링크를 연결하라 : 모든 AI검색이 세상의 모든 엔티티를 빠르게 이해할 수는 없습니다. 신생 용어의 경우엔 가급적 관련 용어를 설명하는 다른 문서를 링크해서 AI검색의 지식 그래프 안에서 그 관계를 측정할 수 있도록 도울 필요가 있습니다. 혹은 내부 문서에 관련 용어가 정의돼 있다면 그것과 연결시키는 것도 방법일 겁니다.
• 하나의 사이트는 하나의 토픽으로 일관되게 작성하라 : 토픽 권위도의 기초 자산으로서 토픽 일관성, 토픽 특화도 때문입니다. 앞서서도 언급했지만 토픽 권위도는 하나의 글 단위에서, 그리고 하나의 사이트 단위에서 측정이 됩니다. 여기에 지식 그래프가 관여를 하게 됩니다. 하나의 사이트가 중구난방의 주제를 다루게 된다면 아무리 좋은 글을 썼다고 하더라도 자주 인용되는 기회를 얻기는 어려울 것입니다.

이 모든 요소들은 AI검색최적화(AIEO, GEO) 분석 도구 '블루닷 인텔리전스'를 사용하시면 쉽게 해결이 된다는 사실도 잊지 말아주세요.