국경일과 공휴일 묻자, 가벼운 AI도 만점 받았다

한국 생활 상식을 묻는 이번 모델 비교에서 GPT-6 Luna와 Claude Opus 5.5가 나란히 평균 10점을 받았다. GPT-6 Astra도 세 문제를 모두 맞혔다. 가벼운 모델인 GPT-6 Luna의 평균 응답 시간은 0.3초였다.

쉬는 날 이름, AI는 다 알까

국경일과 공휴일처럼 달력에 적힌 날을 물을 때도 비싼 상위 모델을 골라야 할까. 이번 비교는 그 질문에서 출발했다. 이름을 빠짐없이 아는지와 함께, 요청한 대로 짧게 답하는지도 살폈다.

이렇게 시험했다

2026년 10월 22일, 여섯 모델에 똑같은 지시문(프롬프트)을 주고 기본 설정으로 한 번씩 실행했다. 앤트로픽에서는 상위 모델 Claude Opus 5.5와 가벼운 모델 Claude Haiku 4.5를 비교했다. 오픈AI에서는 상위 모델 GPT-6 Astra와 가벼운 모델 GPT-6 Luna를 시험했다.

구글의 가벼운 모델 Gemini 3.5 Flash와 xAI의 상위 모델 Grok 4.5는 GitHub Copilot으로 실행했다. 이 두 모델은 세 문제 모두 실행에 실패해 답변 품질을 평가하지 못했다.

채점은 Claude Opus 5와 GPT-6 Sol이 맡았다. 두 모델은 답변을 쓴 모델이 무엇인지 모르는 상태에서 각각 1~10점을 줬다. 둘 다 맞다고 본 답만 정답으로 처리하고, 판단이 엇갈리면 ‘판정 갈림’으로 따로 분류했다. 이름 표기가 달라도 뜻이 같으면 정답으로 인정했다.

문제 1: 국경일 다섯 개를 알까

대한민국의 5대 국경일을 모두 적어 줘. 이름만 쉼표로 나열해.

Claude Opus 5.5, GPT-6 Astra, GPT-6 Luna는 삼일절, 제헌절, 광복절, 개천절, 한글날을 모두 적었다. 세 모델은 군더더기 설명 없이 이름만 나열해 각각 10점을 받았다. 응답 시간은 순서대로 0.2초, 0.1초, 0.1초였다.

Claude Haiku 4.5는 제헌절을 빠뜨려 오답 판정을 받았다. “대한민국의 법정 국경일은 4개입니다"라고 잘못 설명하기도 했다. 이름만 쓰라는 요청과 달리 설명도 덧붙였다. 평균 점수는 2.5점, 응답 시간은 6.4초로 답을 낸 네 모델 가운데 가장 오래 걸렸다.

가벼운 모델끼리도 결과는 크게 갈렸다. GPT-6 Luna는 상위 모델 두 개와 똑같은 정답과 형식을 내놓았고, Claude Haiku 4.5는 핵심 항목 하나를 놓쳤다.

문제 1에 대한 모델별 실제 답 (2026년 10월 22일 실행, 앞부분만)

문제 2: 음력 공휴일을 구분할까

대한민국 법정 공휴일 가운데 음력 날짜를 기준으로 정하는 날을 모두 적어 줘. 이름만 쉼표로 나열해.

답을 낸 네 모델은 모두 정답으로 인정받았다. Claude Opus 5.5와 GPT-6 Luna는 설날, 부처님오신날, 추석을 적어 각각 10점을 받았다. Claude Haiku 4.5는 부처님오신날 대신 석가탄신일이라고 썼다. 두 채점 모델 모두 뜻은 맞다고 봤지만 이름 표기에 준 점수가 달라 평균 9점이 됐다.

GPT-6 Astra는 설날과 추석의 전날, 다음 날까지 따로 나열했다. Claude Opus 5는 연휴를 빠짐없이 적었다고 평가하면서도 간결성에서 점수를 깎았다. GPT-6 Sol은 10점을 줬고, 평균은 9점이었다. 정답이 같아도 얼마나 간단히 쓰느냐에 따라 점수가 갈렸다.

GPT-6 Luna는 이 문제에 0.4초 만에 답했다. 다른 세 모델은 2.1~3.1초가 걸렸다. 공휴일 이름을 짧게 확인하는 요청에서는 답이 길거나 오래 걸린 모델이 더 정확하지도 않았다.

문제 2에 대한 모델별 실제 답 (2026년 10월 22일 실행, 앞부분만)

문제 3: 한글날은 언제일까

한글날은 몇 월 며칠인가? '1월 1일'처럼 날짜만 답해.

Claude Opus 5.5, Claude Haiku 4.5, GPT-6 Astra, GPT-6 Luna가 모두 10월 9일이라고 답해 각각 10점을 받았다. 네 모델 모두 날짜만 쓰라는 요청도 지켰다.

응답 시간은 Claude Opus 5.5와 GPT-6 Astra가 각각 0.1초였다. GPT-6 Luna는 0.5초, Claude Haiku 4.5는 0.6초가 걸렸다. 세 문제 평균이 가장 짧았던 GPT-6 Luna가 개별 문제에서는 1위가 아니었다.

문제 3에 대한 모델별 실제 답 (2026년 10월 22일 실행, 앞부분만)

라운드 성적표

응답 시간은 도구를 준비하는 시간을 뺀 값이다. 실행 경로가 달라 모델 간 속도는 참고용으로 보면 된다.

출력 속도는 답변 글자 수를 응답 시간으로 나눈 값이다. 글자를 쏟아내는 속도는 GPT-6 Astra가 가장 빨랐지만, 답이 돌아오기까지 걸린 평균 시간은 GPT-6 Luna가 더 짧았다.

그래서 뭘 쓰면 될까

국경일과 공휴일 이름을 간단히 확인하는 정도라면 GPT-6 Luna로 충분했다. 세 문제를 모두 맞혔고 평균 0.3초에 답했다. 상위 모델을 쓴다면 Claude Opus 5.5가 평균 10점으로 정확성과 요청 형식을 모두 충족했다.

이번 세 문제에서는 상위 모델을 더 기다린 만큼 정답률이 올라가지 않았다. Claude Opus 5.5는 평균 0.9초, GPT-6 Astra는 1.1초가 걸렸지만 맞힌 개수는 GPT-6 Luna와 같았다.

지금까지 누적 순위

21개 라운드의 평균 심사 점수 순이다. 같은 점수는 공동 순위로 표시했다.

이번 라운드에서 만점을 받은 GPT-6 Luna도 누적 정답은 42문제 중 35개다. GPT-6 Astra와 Claude Opus 5.5는 42문제를 모두 맞혔다.

이번 비교의 한계

모델마다 한 번씩, 문제 세 개만 실행했다. 점수는 사람이 아니라 AI가 매긴 값이고, 실행에 실패한 두 모델은 답변 품질 비교에서 빠졌다. 가격은 이번 시험에서 비교하지 않았다. 같은 질문을 여러 번 던지거나 더 다양한 생활 질문을 물었을 때도 가벼운 모델이 정확도를 지키는지가 다음에 확인할 대목이다.