우리 AI가 자꾸 한자를 써요... 왜 그럴까? (feat. vLLM 해결법)

안녕하세요! 나두에이아이 입니다. 👋

요즘 보안이 중요이 커져 폐쇄형 GPT형태로 AI를 구축하는 경우가 많죠?

AI와 신나게 대화하고 있는데, 갑자기 얘가 "你好"나 "谢谢" 같은 중국어를 불쑥 내뱉어서 당황한 적 있으신가요? 😱 특히 성능 좋은 Qwen, Deepseek등 중국 AI 모델을 기반으로 우리만의 서비스를 만들 때 종종 일어나는 일인데요.

오늘은 이런 당황스러운 상황을 막아줄 아주 똑똑한 해결사, vLLM의 logits_processor 이용하여 이를 막는 사례에 대해 모두가 이해할 수 있도록 쉽고 재미있게 설명해 드릴게요!

🤔 AI는 어떻게 다음 단어를 고를까요? (feat. 단어 추천 점수)

AI가 글을 쓰는 건, 사실 수많은 단어 후보들 중에 다음에 올 단어 하나를 고르는 과정의 연속이에요. 마치 우리가 "오늘 식사는 정말..." 다음에 '맛있었다', '최악이었다', '대박이었다' 같은 여러 후보를 떠올리는 것과 같죠.

AI는 내부적으로 자기가 아는 모든 단어(한글, 영어, 한자 등)에 대해 '다음에 이 단어가 오면 얼마나 자연스러울까?'에 대한 추천 점수를 매겨요. 이 점수를 전문 용어로 로짓(Logits)이라고 부른답니다. 점수가 높을수록 선택될 확률이 높아지는 거죠!

✨ 핵심 정리: 로짓(Logits): AI가 다음 단어를 고르기 위해 매기는 '후보 단어 추천 점수'

🚨 왜 갑자기 중국어가 튀어나올까요?

문제는 AI의 태생에 있어요. 우리가 사용하는 AI 모델의 뿌리가 되는 '베이스 모델'이 중국에서 만들어졌다면, 어마어마한 양의 중국어 데이터로 학습했을 가능성이 높아요.

그래서 우리가 한국어로 명령을 내려도, AI가 순간적으로 착각하거나(이걸 할루시네이션이라고 해요!) 계산 과정에서 오류가 생겨서 뜬금없이 중국어 단어에 높은 추천 점수(로짓)를 줘버리는 경우가 생기는 거예요. 그럼 AI는 점수만 보고 "오! 이 한자가 정답인가 봐!" 하면서 툭 내뱉게 되는 거죠.

🦸‍♂️ 해결사 등판! vLLM의 logits_processor

이때 필요한 게 바로 logits_processor 입니다. vLLM 라이브러리에 있는 이 기능은 AI가 최종적으로 단어를 선택하기 직전에 우리가 개입할 수 있게 해주는 마법 같은 도구예요.

마치 AI가 단어 추천 점수표를 내밀었을 때, 우리가 빨간 펜을 들고 이렇게 말하는 것과 같아요.

"잠깐! 어디 보자... 어? 중국어 단어 점수가 왜 이렇게 높아? 이건 안되지! 중국어는 전부 -1,000,000점 감점!"

logits_processor를 사용하면, "만약 단어가 중국어(한자)이면, 추천 점수를 아주아주 낮춰버려!" 라는 규칙을 미리 만들어 둘 수 있어요.

이렇게 특정 단어들의 점수를 강제로 바닥으로 만들어 버리면, AI가 아무리 중국어 단어에 높은 점수를 매겼더라도 최종 선택지에서는 절대 뽑힐 수 없게 된답니다. 결국 AI는 우리가 허용한 한국어나 영어 단어 중에서만 다음 단어를 고르게 되는 거죠!

vLLM을 사용하면 이런 규칙을 아주 쉽고 빠르게 적용해서, 우리 AI가 혹시라도 길을 잃고 중국어를 사용하는 상황을 원천봉쇄할 수 있습니다.

바로 이런 logits_processor와 같은 다양한 기술 도구들을 활용해서, 저희 나두AI는 고객 여러분들이 최신 AI 모델을 자신만의 데이터와 목적에 맞게 Private하게 업무에 적용하실 수 있도록 돕고 있답니다. 복잡하고 어려운 기술은 저희에게 맡기시고, 여러분은 AI로 똑똑해지는 비즈니스만 생각하세요!

앞으로도 저희 나두AI는 이렇게 유용하고 재미있는 AI 꿀팁으로 다시 찾아오겠습니다! 다음에 또 만나요! 😉