멀티 LLM 추적이 필요한 이유

한 마케터가 ChatGPT에 "우리 업계에서 쓸 만한 도구"를 물었더니 답변 첫 문단에 자사 브랜드가 등장했습니다. 그는 보고서에 "AI 답변에 인용됨"이라고 적었죠. 그런데 같은 날 같은 질문을 Perplexity에 던진 동료는 출처 목록 어디에서도 그 브랜드를 찾지 못했습니다. 어느 쪽도 잘못 본 게 아닙니다. 두 엔진이 답을 만드는 방식 자체가 달라서 결과가 갈렸을 뿐입니다.

인용 측정을 한 곳에서만 하면 이런 어긋남이 보이지 않습니다. 그래서 잘 나오는 화면 하나를 전체 상황으로 착각하거나, 안 나오는 화면 하나만 보고 전부 실패했다고 단정하기 쉽습니다. 이 글은 왜 엔진마다 답이 갈리는지, 한 곳만 보면 어떤 함정에 빠지는지, 그리고 여러 엔진을 어떤 순서로 읽고 어디부터 고칠지 다룹니다. GEO가 무엇이고 인용을 어떻게 높이는지는 개요 글에서 다뤘으니, 여기서는 그 아래 단계인 "측정 대상을 몇 개로 볼 것인가"에 집중하겠습니다.

같은 질문, 다른 답이 나오는 세 가지 이유

엔진마다 답이 다른 건 오류라기보다 설계 차이에서 비롯됩니다. 관찰해 보면 크게 세 갈래로 나뉩니다.

1. 학습 데이터와 갱신 시점이 다르다

모델은 저마다 다른 데이터를 다른 시점까지 학습합니다. 그래서 어떤 모델은 작년에 올린 글까지만 알고, 어떤 모델은 더 최근 정보까지 알고 있습니다. 같은 브랜드라도 "그 모델이 학습할 때 우리 정보가 충분히 퍼져 있었는가"에 따라 인지 여부가 갈립니다. 가령 출시 3개월 된 SaaS가 한 엔진에서는 전혀 안 나오고 다른 엔진에서는 후보로 등장하기도 하는데, 대개 이 시점 차이에서 비롯됩니다.

2. 검색을 쓰는지, 안 쓰는지가 다르다

여기서는 표면의 성격을 분명히 갈라야 합니다. 어떤 답변은 모델이 학습한 기억만으로 나오지만, 어떤 답변은 모델이 실시간으로 웹을 검색해 그 결과를 근거로 삼습니다. Perplexity나 Google AI 개요처럼 검색을 결합한 표면은 "지금 웹에 잘 정리돼 있고 인용하기 좋은 페이지"를 끌어옵니다. 반면 검색을 켜지 않은 순수 챗봇 답변은 모델 안에 이미 자리 잡은 기억에 의존하죠. 그래서 검색형 표면에서는 최근에 잘 써둔 페이지가 비교적 빠르게 인용되지만, 기억 기반 답변에서는 그 페이지가 모델에 스며들 시간이 필요한 것으로 관찰됩니다.

ChatGPT 같은 챗봇과 Google AI 개요를 한 덩어리로 묶으면 곤란하다. 챗봇은 사용자가 대화로 질문하는 표면인 데 비해 AI 개요는 검색 결과 상단에 붙는 답변 표면이다. 노출되는 맥락도 답을 만드는 재료도 다르다. 그래서 한쪽에서 인용됐다고 다른 쪽에서도 인용되리라는 보장은 없다. 참고로 같은 챗봇이라도 사용자가 웹 검색 기능을 켜면 기억형이 아니라 검색형에 가깝게 동작한다.

3. 모델마다 성향이 다르다

같은 정보를 알고 있어도 그것을 답변에 꺼내 쓰는 방식은 모델마다 다릅니다. 어떤 모델은 출처를 꼬박꼬박 나열하지만, 어떤 모델은 브랜드명을 잘 호명하지 않고 "협업 도구" 같은 일반명사로 뭉뚱그립니다. 또 어떤 모델은 답을 짧게 끊어 한두 곳만 인용하고, 어떤 모델은 후보를 넓게 펼치기도 합니다. 이런 성향 차이 탓에 같은 페이지가 한 모델에서는 근거로 채택되고 다른 모델에서는 스쳐 지나갑니다.

한 엔진만 보면 생기는 네 가지 착시

측정 표면을 하나로 좁히면 결론이 일정한 방향으로 왜곡되기 쉽습니다. 자주 나타나는 착시는 다음 네 가지입니다.

• 생존자 편향. 우리가 잘 나오는 엔진만 골라 보면 성적은 늘 좋아 보입니다. 정작 우리가 안 나오는 엔진은 들여다보지 않게 되죠.
• 거짓 실패. 한 엔진에서 안 잡혔다고 "GEO가 효과 없다"고 단정하기 쉽습니다. 하지만 다른 표면에서는 이미 인용되고 있는데 측정 범위 밖이라 보이지 않았을 뿐일 수 있습니다.
• 잘못된 원인 진단. 한 곳 결과만 보면 "콘텐츠 품질 문제"로 비칩니다. 하지만 여러 곳을 겹쳐 보면 "검색형 표면에서는 잘 나오는데 기억 기반 표면에서만 빠진다"처럼 원인이 좁혀지면서 처방이 완전히 달라집니다.
• 흔들리는 우선순위. 다음에 어떤 콘텐츠를 만들지를 한 엔진 성적만으로 정하면, 그 엔진의 성향에만 맞춰진 콘텐츠가 한쪽으로 쌓입니다.

핵심은 단순합니다. 고객은 ChatGPT만 쓰지 않습니다. 누군가는 검색하다 AI 개요를 읽고, 누군가는 Perplexity로 비교하고, 누군가는 챗봇에 직접 묻습니다. 측정이 그중 하나만 본다면, 나머지 표면에서 무슨 일이 벌어지는지 모르는 채로 의사결정을 하게 됩니다.

여러 엔진을 함께 읽는 법

엔진을 여럿 본다는 건 화면 수를 늘리는 게 아니라 표면의 성격을 구분해 읽는 일에 가깝습니다. 두 축으로 정리하면 한눈에 들어옵니다.

같은 질문이라도 표면마다 결과를 따로 기록하고 그 차이가 무엇을 뜻하는지 해석하는 게 요점입니다. 가령 검색형 표면에서는 인용되는데 기억 기반 챗봇에서는 안 나온다면, 콘텐츠는 충분한데 아직 모델에 스며들 시간이 부족하다는 신호입니다. 반대로 검색형에서도 안 나온다면, 지금 웹에 인용하기 좋은 형태로 정리된 페이지 자체가 없다는 뜻에 가깝죠. 이렇게 같은 "미인용"이라도 처방은 정반대로 갈립니다.

우선순위를 정하는 4단계

여러 엔진을 본다고 해서 모든 엔진에 동시에 매달릴 수는 없습니다. 다음 순서로 좁혀 가는 게 현실적입니다.

1. 고객이 실제로 쓰는 표면부터. 우리 고객층이 주로 어디서 답을 얻는지 따져 그 표면을 1순위에 둡니다. 검색을 많이 거치는 고객이면 검색형 답변의 가중치를 높이고, 챗봇에 직접 묻는 고객이면 대화형의 가중치를 높입니다.
2. 갭이 큰 질문부터. 모든 표면을 통틀어 경쟁사는 나오는데 우리만 빠진 질문을 추리면, 거기가 가장 손해 보는 지점입니다.
3. 고치기 쉬운 원인부터. 검색형에서만 빠졌다면 페이지를 인용하기 좋게 정리하는 것으로 비교적 빠르게 메울 수 있습니다. 하지만 모든 표면에서 빠졌다면 콘텐츠를 새로 만들어야 하니 더 큰 작업이 됩니다.
4. 같은 주기로 재측정. 고친 뒤 같은 질문을 같은 표면들에 다시 던져 변화를 확인합니다. 단, 표면별로 반응 속도가 다르니 한 번의 측정으로 단정하지 말고 추세로 봐야 합니다.

실전 점검 체크리스트

지금 인용 측정을 하고 있다면 아래 항목으로 한 번 점검해 보세요.

• 측정 표면이 하나로 고정돼 있지 않은지, 대화형과 검색형을 모두 보고 있는지.
• 표면별로 결과를 따로 집계하는지, 아니면 한 덩어리로 뭉뚱그리는지.
• "미인용"을 발견했을 때 검색형인지 기억형인지에 따라 원인을 나눠 보는지.
• 다음 콘텐츠 우선순위를 한 엔진 성적이 아니라 여러 표면의 갭으로 정하는지.
• 재측정 주기가 표면별 반응 속도를 감안할 만큼 꾸준한지.

한 엔진만 보면 화면 하나는 선명해지지만, 그 바깥에서 벌어지는 일은 통째로 사각지대가 됩니다. 여러 표면을 같은 질문으로 함께 측정하고 표면별 성격에 맞춰 따로 해석할 때, "무엇을 다음에 고칠까"가 추측이 아니라 데이터에 가까워집니다. 넛지오는 그 여러 표면의 인용 현황을 한자리에서 확인하도록 돕습니다.