언어 모델(Language Model)이란? 검색과 ChatGPT를 잇는 공통 원리

부스트키워드 팀

검색 데이터로 키워드의 검색량, 트렌드, 검색 의도를 파악하고 마케팅 의사결정을 돕는 도구 부스트키워드를 만듭니다.

ChatGPT 같은 AI가 다음에 올 단어를 예측하며 자연스러운 문장을 만들어내는 모습을 보면 신기하게 느껴집니다. 그런데 흥미롭게도, 이와 비슷한 원리가 오래전부터 정보 검색 분야에서도 활용되어 왔습니다. 바로 언어 모델(Language Model)이라는 개념입니다. 이 글에서는 언어 모델이 무엇이고, 이 개념이 검색엔진의 문서 순위 계산에 어떻게 적용되는지, 그리고 최신 AI 검색과는 어떤 관계가 있는지 살펴봅니다.

ChatGPT와 검색엔진, 의외로 닮은 부분이 있다

"다음에 올 단어를 예측한다"는 언어 모델의 기본 발상

언어 모델의 기본 아이디어는 단순합니다. "지금까지 나온 단어들을 보고, 다음에 어떤 단어가 나올 확률이 가장 높은지 예측한다"는 것입니다. 예를 들어 "오늘 날씨가 정말"이라는 문장 뒤에 이어질 단어를 예측한다면, "좋다", "덥다", "춥다" 같은 단어가 나올 확률이 "자동차"나 "은행" 같은 단어가 나올 확률보다 훨씬 높을 것입니다. 언어 모델은 이렇게 단어들의 조합이 얼마나 자연스러운지를 확률로 계산하는 도구입니다.

이 발상이 검색과 무슨 관계가 있을까

언뜻 보면 문장을 생성하는 이 기술이 검색과는 관계가 없어 보일 수 있습니다. 하지만 정보 검색 연구자들은 이 발상을 거꾸로 뒤집어서 활용하는 방법을 고안했습니다. "이 검색어가 어떤 문서로부터 나왔을 가능성이 가장 높은가"를 계산하는 방식으로, 언어 모델을 검색 순위 계산에 응용한 것입니다.

언어 모델이란 무엇인가

특정 문장이나 단어의 조합이 얼마나 '자연스러운지' 확률로 계산하기

조금 더 정확히 말하면, 언어 모델은 어떤 특정한 단어의 나열(문장 전체가 될 수도, 짧은 구절이 될 수도 있습니다)이 얼마나 자연스럽게 나타날 만한지를 확률값으로 계산하는 통계적 모델입니다. 이 확률은 특정한 텍스트 데이터(말뭉치)를 학습해서 얻어집니다. 예를 들어 요리 블로그 글들을 잔뜩 학습한 언어 모델이라면, "맛있다", "레시피" 같은 단어가 나올 확률을 높게 계산하고, 전혀 관계없는 전문 용어가 나올 확률은 낮게 계산할 것입니다.

간단한 예제로 이해하는 언어 모델의 확률 계산

아주 단순화한 예로, 어떤 요리 블로그 글 뭉치를 학습한 언어 모델에서 각 단어가 등장할 확률이 다음과 같이 계산되었다고 해봅시다.

• "맛집" 등장 확률: 0.05
• "레시피" 등장 확률: 0.04
• "흑돼지" 등장 확률: 0.01
• "주식" 등장 확률: 0.0001

이 확률들만 보아도, 이 언어 모델이 학습한 문서 뭉치가 요리나 맛집과 관련된 내용일 가능성이 높다는 것을 짐작할 수 있습니다. "주식"이라는 단어의 확률이 극히 낮다는 사실은, 이 문서 뭉치가 경제나 금융과는 거리가 멀다는 것을 시사합니다.

검색에 언어 모델을 적용한다는 것

"이 문서가 검색어를 만들어낼 확률"이라는 새로운 관점

정보 검색에서 언어 모델을 활용하는 핵심 발상은 다음과 같습니다. 검색 대상이 되는 문서 하나하나를, 그 문서만의 독자적인 언어 모델로 취급하는 것입니다. 즉 각 문서는 자신만의 단어 사용 습관과 확률 분포를 가진 하나의 작은 언어 모델이라고 볼 수 있습니다. 그런 다음, 사용자가 입력한 검색어를 놓고 "이 검색어가 특정 문서의 언어 모델로부터 만들어졌을 확률이 얼마나 되는가"를 계산합니다.

쿼리 우도(Query Likelihood) 모델 쉽게 풀어보기

이러한 접근 방식을 쿼리 우도(Query Likelihood) 모델이라고 부릅니다. 풀어서 설명하면, "이 문서가 만약 검색어를 생성해내는 언어 모델이었다면, 실제로 사용자가 입력한 검색어와 같은 단어 조합을 만들어낼 확률이 얼마나 되었을까"를 문서마다 계산하고, 그 확률이 가장 높게 나오는 문서를 검색 결과 상위에 배치하는 방식입니다.

간단한 예제로 이해하는 검색에서의 언어 모델

문서마다 자신만의 '언어 습관'이 있다고 가정하기

"제주도 흑돼지"라는 검색어가 입력되었다고 가정해봅시다. 문서 A는 제주도 흑돼지 맛집을 소개하는 글이고, 문서 B는 서울의 카페를 소개하는 글입니다. 문서 A의 언어 모델에서는 "제주도"와 "흑돼지"라는 단어가 등장할 확률이 비교적 높게 계산되지만, 문서 B의 언어 모델에서는 이 두 단어가 등장할 확률이 매우 낮거나 거의 0에 가깝게 계산될 것입니다.

검색어가 어떤 문서에서 나왔을 가능성이 더 높은지 비교하기

이제 "제주도 흑돼지"라는 검색어가 문서 A의 언어 모델로부터, 그리고 문서 B의 언어 모델로부터 각각 만들어졌을 확률을 계산해보면, 당연히 문서 A 쪽의 확률이 훨씬 높게 나옵니다. 즉 이 검색어는 문서 B보다는 문서 A에서 나왔을 가능성이 훨씬 크다는 뜻이 되고, 따라서 문서 A가 검색 결과 상위에 배치됩니다. 이런 방식으로 검색어와 각 문서의 언어적 특성을 비교해서 순위를 매기는 것이 언어 모델 기반 검색의 핵심입니다.

TF-IDF·BM25와 언어 모델 기반 검색의 차이

접근 방식은 다르지만 비슷한 결론에 도달하는 경우가 많은 이유

TF-IDF나 BM25는 "단어의 빈도와 희소성"이라는 통계적 수치를 직접 조합해서 점수를 계산하는 방식입니다. 반면 언어 모델 기반 검색은 "이 문서가 이 검색어를 만들어냈을 확률"이라는 확률론적 틀로 문제를 다시 정의합니다. 접근하는 방식과 이론적 배경은 다르지만, 실제로 계산을 해보면 두 방식 모두 "검색어에 포함된 단어가 특정 문서에서 상대적으로 자주, 그리고 특징적으로 등장할수록 그 문서를 더 관련성 높은 결과로 평가한다"는 비슷한 결론에 도달하는 경우가 많습니다. 이 때문에 두 접근 방식은 서로 다른 이론에서 출발했지만 실무적으로는 상호 보완적인 관계로 여겨지기도 합니다.

ChatGPT 같은 AI 검색과의 연결고리

최신 AI 검색이 언어 모델을 더 정교하게 발전시킨 방식

여기서 다룬 언어 모델은 비교적 단순하게 단어의 등장 확률만을 계산하는 초기 형태입니다. 반면 오늘날 ChatGPT 같은 서비스에서 사용하는 언어 모델은 단어 하나하나의 등장 확률뿐 아니라, 문장 전체의 문맥과 의미 관계까지 훨씬 정교하게 학습한 형태로 발전한 것입니다. 최근의 AI 기반 검색 서비스들은 이렇게 발전된 언어 모델을 활용해, 단순히 검색어와 겹치는 단어를 찾는 것을 넘어 사용자의 질문 의도 자체를 이해하고 답을 생성하는 방향으로 나아가고 있습니다. 이런 점에서 오늘날의 AI 검색은, 정보 검색 분야가 오래전부터 탐구해온 언어 모델이라는 개념이 훨씬 정교한 형태로 확장된 결과라고 볼 수 있습니다.

정리하며

언어 모델은 원래 "다음에 올 단어를 예측한다"는 단순한 발상에서 출발했지만, 정보 검색 분야에서는 이를 "어떤 문서가 검색어를 만들어냈을 가능성이 가장 높은가"를 계산하는 방식으로 응용해왔습니다. TF-IDF나 BM25와는 다른 이론적 배경을 가지고 있지만, 결국 같은 목표(검색어와 가장 관련성 높은 문서를 찾는 것)를 향해 있다는 점에서, 언어 모델은 검색과 최신 AI 기술을 잇는 중요한 개념적 다리 역할을 하고 있습니다.