추석 문자는 가벼운 AI로 충분, 상위 모델과 동점

오늘의 질문

속담 풀이부터 추석 인사까지 한국어 생활 과제 3개로 AI 6종을 비교했다. 그 결과 가벼운 GPT-6 Luna가 상위 모델인 Claude Opus 5.5와 GPT-6 Astra와 평균 9.3점으로 동점을 기록했다. 이번에 보려 한 것은 AI가 한국 사정을 얼마나 알고, 상대에 맞는 말까지 고를 수 있느냐다. 거래처에 보낼 문자처럼 짧은 글에서는 지식뿐 아니라 예의와 길이도 중요하다.

이렇게 시험했다

2026년 9월 24일 모든 모델에 똑같은 프롬프트(AI에게 주는 지시문)를 넣었다. 기본 설정에서 모델마다 문제별로 한 번씩 실행했다. 앤트로픽에서는 상위 모델 Claude Opus 5.5와 가벼운 Claude Haiku 4.5를 넣었다. 오픈AI에서는 상위 GPT-6 Astra와 가벼운 GPT-6 Luna를 넣었다. 여기에 구글의 가벼운 Gemini 3.5 Flash와 xAI의 이전 세대 상위 모델 Grok 4.5도 함께 시험했다.

Gemini 3.5 Flash와 Grok 4.5는 GitHub Copilot으로 실행했다. 실행 경로가 달라 응답 속도를 그대로 견주기는 어렵다. 채점은 Claude Opus 5와 GPT-6 Sol이 맡았다. 두 심사 모델은 누가 쓴 답인지 모르는 상태에서 각각 10점 만점으로 점수를 매겼다. 정답이 있는 문제는 두 심사 모델이 모두 맞다고 해야 정답으로 인정했다.

문제 1: 속담을 회사에서 쓴다면

속담의 뜻을 이해하고 실제 회사 대화에 적용하는지 살폈다.

'가는 말이 고와야 오는 말이 곱다'의 뜻을 한 문장으로 설명하고, 회사 생활에서 쓸 수 있는 예를 하나 들어 줘.

여섯 모델 모두 속담의 뜻을 맞게 설명했다는 평가를 받았다. 차이는 예시에서 났다. GPT-6 Astra는 동료의 실수를 거칠게 지적하는 말과 정중하게 요청하는 말을 나란히 놓았다. 상대가 “알려 주셔서 감사합니다"라고 답하는 장면까지 담아 가장 높은 9.5점을 받았다. 내가 건넨 말이 상대의 말로 돌아온다는 뜻이 구체적으로 드러났다.

Claude Opus 5.5는 보고서 오류를 부드럽게 짚는 상황을 들었다. 나중에 자신이 실수했을 때 도움받는 장면까지 이어 붙여 9.0점을 받았다. GPT-6 Luna는 정중한 자료 요청을 예로 들어 8.5점이었다. 상대의 반응이 빠졌다는 지적을 받았다. Claude Haiku 4.5, Gemini 3.5 Flash, Grok 4.5는 각각 8.0점이었다. 특히 Grok 4.5의 짧은 예시를 두고 심사 점수가 7점과 9점으로 갈렸다.

문제 1에 대한 모델별 실제 답 (2026년 9월 24일 실행, 앞부분만)

문제 2: 거래처에 보낼 추석 문자

거래처 사장님에게 어울리는 예의를 갖추면서 짧고 편안하게 쓰는지 확인했다.

평소 거래하는 거래처 사장님께 보낼 추석 안부 문자를 3줄 이내로 써 줘. 너무 딱딱하지 않게.

이 문제에서는 GPT-6 Luna가 9.5점으로 가장 높았다. 감사와 가족의 안부를 3줄에 담아 존대와 친근함의 균형이 좋다는 평가를 받았다. 답은 74자였고, 준비 시간을 뺀 응답 시간은 1.2초였다. Claude Opus 5.5는 이모지와 부드러운 말투를 써서 9.0점을 받았다. GPT-6 Astra는 따뜻하고 간결한 인사로 8.5점이었다.

Claude Haiku 4.5는 문자 한 통 대신 문안 3개와 설명을 내놓았다. 답이 289자로 늘어난 데다 일부 말투도 받는 사람에게 맞지 않는다는 지적을 받아 4.0점에 그쳤다. Gemini 3.5 Flash는 3줄을 지켰지만 표현이 길고 격식적이어서 7.0점이었다. Grok 4.5는 8.0점이었다. 다만 상대가 이미 연휴를 보내는 중이라고 전제했다. 실제로 문자를 보낼 때는 보내는 시점까지 살펴야 한다는 차이가 드러났다.

문제 2에 대한 모델별 실제 답 (2026년 9월 24일 실행, 앞부분만)

문제 3: 헷갈리는 맞춤법

자주 혼동하는 표현을 구분하고, 답만 쓰라는 조건을 따르는지 봤다.

다음 괄호 안에서 맞는 말을 골라 문장을 완성해 줘. 고른 말만 차례대로 적어.
1. 금방 (갈게요/갈께요)
2. 이 일은 (왠지/웬지) 쉬울 것 같다
3. 몸이 빨리 (낫기를/낳기를) 바랍니다

정답은 ‘갈게요, 왠지, 낫기를’이며 여섯 모델 모두 맞혔다. Claude Opus 5.5, GPT-6 Astra, GPT-6 Luna, Grok 4.5는 고른 말만 적어 10.0점을 받았다. Claude Haiku 4.5와 Gemini 3.5 Flash는 번호를 덧붙여 각각 9.0점이었다. 두 모델의 감점은 맞춤법 오류가 아니라 형식 조건 때문이었다.

GPT-6 Astra와 GPT-6 Luna는 준비 시간을 뺀 응답 시간이 각각 0.1초였다. 다만 이 값은 실제로 기다린 전체 시간은 아니다. 이번 맞춤법 문제에서는 정답률 차이가 없었다. 지시를 얼마나 간결하게 따랐는지가 점수를 갈랐다.

문제 3에 대한 모델별 실제 답 (2026년 9월 24일 실행, 앞부분만)

라운드 성적표

응답 시간은 도구 준비 시간을 뺀 값이다. 실행 경로가 달라 참고용으로만 보는 것이 좋다.

정답 열은 정답 기준이 있는 맞춤법 문제 한 건만 센 값이다. 속담 풀이와 인사 문자는 심사 점수로 비교했다. 출력 속도는 각 답변의 글자 수를 준비 시간을 뺀 시간으로 나눈 뒤 평균한 값이다. 길게 쓴 답이 더 좋은 답이라는 뜻은 아니다.

그래서 뭘 쓰면 될까

짧은 명절 인사를 쓸 때는 GPT-6 Luna를 먼저 고려할 만하다. 이 문제에서 9.5점을 받았고 기본 맞춤법도 모두 맞혔다. 이번 생활 과제에는 가벼운 모델로도 충분했던 셈이다.

속담을 구체적인 대화로 풀어야 할 때는 GPT-6 Astra나 Claude Opus 5.5가 돋보였다. 각각 9.5점과 9.0점으로 GPT-6 Luna의 8.5점보다 높았다. 설명의 세밀함에서는 상위 모델이 앞섰다.

빨리 답을 받아야 할 때는 이번 측정에서 평균 0.9초였던 GPT-6 Luna가 눈에 띈다. Claude Opus 5.5는 1.3초, GPT-6 Astra는 1.5초였다. 평균 점수는 셋 모두 같았다. 이 세 과제에서는 더 기다린다고 점수가 높아지지 않았다.

지금까지 누적 순위

9개 라운드를 합치면 GPT-6 Astra가 평균 9.2점으로 가장 높다. 이번에 공동 선두였던 GPT-6 Luna는 누적 평균 8.2점, 정답 13/15였다. 나머지 다섯 모델은 15/15였다. 이번 한국어 생활 과제의 결과를 다른 종류의 문제까지 넓혀 해석하면 안 되는 이유다.

이번 비교의 한계

이번 비교는 문제 3개를 모델마다 한 번씩 실행한 결과다. AI가 매긴 점수는 참고 값이다. 같은 답도 심사 모델에 따라 평가가 달랐다. 한국 문화 전반의 이해력을 판단하기에는 범위가 좁다. 그래도 짧은 한국어 업무 문장에서는 모델 크기만큼 받는 사람과 형식 조건을 지키는 능력이 중요하다는 점이 드러났다. 앞으로는 상대와의 관계나 보내는 시점을 바꿔도 같은 품질이 나오는지 살펴볼 필요가 있다.