SK텔레콤 A.X K2, 한국어 시험 정확도 51%→73%

SK텔레콤 뉴스룸이 한글날을 맞아 신효필 서울대학교 언어학과 교수의 기고를 공개했다. 기고에는 SK텔레콤의 AI 모델 A.X K2가 받은 한국어 성적이 담겼다. A.X K2는 한국어 이해 능력을 재는 시험 KoBALT에서 정확도 73.0%를 기록했다. 이전 모델 A.X K1은 51.0%였다. 22.0%포인트 오른 성적이다.

한국어 실력, 어떻게 쟀나

KoBALT는 서울대학교 자연어처리연구실이 만든 한국어 성능 시험이다. 전문가가 고른 어려운 문항 700개로 문장 구조, 의미, 대화 맥락, 말소리 규칙, 단어 구성 등 5개 영역을 본다. 신 교수는 한국어의 복잡한 규칙을 정밀하게 잴 공통 기준이 없었다는 문제의식에서 출발했다고 설명했다.

2025년 KoBALT를 발표할 당시 Claude 3.7 Sonnet의 전체 정확도는 61%였다. 단어의 구성과 변화를 다루는 영역은 36%, 말소리 규칙을 다루는 영역은 31%에 그쳤다. 신 교수는 한국어 표현의 겉뜻을 파악하는 능력과 세부 규칙을 다루는 능력 사이에 차이가 있음을 보여주는 결과라고 해석했다.

높임말은 왜 AI에게 어려울까

높임말은 문법만 맞추면 되는 문제가 아니다. 신 교수는 높임말을 쓸 때 문장의 주체뿐 아니라 듣는 사람과의 관계도 함께 따져야 한다고 설명했다. 교수의 행동을 높여 말했더라도, 그 일을 윗사람에게 공손하게 전하는 상황이라면 자신을 가리키는 말도 ‘나’에서 ‘저’로 바꿔야 자연스럽다는 것이다.

대화에서 빠진 말을 찾아내는 능력도 중요하다. 한국어는 앞뒤 맥락으로 알 수 있으면 주어나 목적어를 생략한다. KoBALT의 생략 관련 과제에서 대다수 해외 모델은 55% 미만의 성적을 냈다. 신 교수는 생략된 대상을 잘못 짚는 오류가 업무나 법률, 의료 분야의 답변을 왜곡할 수 있다고 지적했다.

단어의 모양이 바뀌어도 같은 뜻임을 알아야 한다. ‘돕다’가 ‘도와’로 바뀌는 규칙이 그런 경우다. 신 교수는 영어를 기준으로 글을 잘게 나누는 처리 방식이 한국어의 조사와 어미, 불규칙한 변화를 충분히 반영하지 못한다고 주장했다. 한국어 특성에 맞춘 학습 자료와 글 처리 도구가 필요하다는 설명이다.

A.X K2는 무엇이 달라졌나

A.X K2는 긴 글에서 관련성이 높은 정보를 골라 참고하도록 설계됐다. SK텔레콤이 자체 개발한 SGA 구조를 적용했다. 한국어 지식을 보는 시험 KMMLU-Pro에서는 80.5점, 한국 문화 이해를 보는 CLIcK에서는 91.6점을 받았다.

신 교수는 한국어와 문화에 맞춘 독자적인 AI, 이른바 소버린 AI라면 대화 상대와 상황에 따라 어조를 조절할 수 있어야 한다고 강조했다. 기존 한국어 평가에는 번역 문항이 섞이거나 학습 자료와 겹치는 문제가 있다고도 지적했다. 언어 능력이 아니라 암기로 점수를 올릴 수 있다는 뜻이다. 그래서 개발 단계부터 한국어의 특성을 반영해야 한다고 주장했다.

한국 이용자가 체감하는 과제는 분명하다. 업무 대화에서 높임말을 맞추고, 생략된 대상이나 숨은 의도를 정확히 짚는 능력이다. 신 교수는 언어학 시험과 실제 서비스 환경에서 함께 검증하며 모델을 발전시켜야 한다고 강조했다.