약관에서 해지 비용 찾기, 가벼운 AI도 다 맞혔다

AI는 필요한 조항만 찾아 줄까

긴 계약서와 안내문에서 AI는 필요한 대목을 정확히 짚어 줄까. 이번 비교에서는 세 문제를 냈다. 약관의 중도 해지 비용, 버스 출발 시간, 캠핑 준비물을 찾는 문제다. 여섯 모델이 모두 정답을 냈다. 다만 실제로 넣은 글은 짧은 약관과 안내문이었다. 그래서 이번 결과가 보여 주는 것은 짧은 글에서 필요한 정보를 골라내는 능력이다.

일상에서 알고 싶은 것은 문서 전체 요약보다 내가 낼 돈이나 챙길 물건일 때가 많다. 이번에는 답을 맞혔는지와 함께, 물어본 내용만 간결하게 남겼는지도 살폈다. 정답 수는 모두 같았고, 차이는 설명을 얼마나 덧붙였는지에서 났다.

이렇게 시험했다

2026년 9월 24일, 여섯 모델에 똑같은 프롬프트(AI에게 주는 지시문)를 넣었다. 기본 설정 그대로, 모델마다 각 문제를 한 번씩 실행했다. 앤트로픽에서는 상위 모델 Claude Opus 5.5와 가벼운 Claude Haiku 4.5가 참여했다. 오픈AI에서는 상위 모델 GPT-6 Astra와 가벼운 GPT-6 Luna가 나섰다.

구글의 가벼운 모델 Gemini 3.5 Flash와 xAI의 이전 세대 상위 모델 Grok 4.5도 함께 시험했다. 이 두 모델은 GitHub Copilot으로 실행했다. 실행 경로가 다르므로 응답 속도를 모델 자체의 성능 차이로 단순 비교하기는 어렵다.

채점은 Claude Opus 5와 GPT-6 Sol이 각각 맡았다. 두 심사위원은 답변을 쓴 모델 이름을 모르는 상태로 점수를 매겼다. 점수는 1~10점이고, 둘 다 맞다고 본 답만 정답으로 인정했다. 표현이 달라도 뜻이 같으면 정답으로 처리했고, 판단이 엇갈리면 따로 구분했다.

문제 1: 해지하면 얼마를 뗄까

약관에서 중도 해지 비용에 해당하는 항목만 정확히 찾는지 보는 문제다.

아래 헬스장 이용 약관에서 '중도 해지할 때 내야 하는 돈'에 관한 내용만 찾아 한 문장으로 정리해 줘.

제1조(이용 기간) 회원권은 결제일로부터 12개월간 유효하다.
제2조(휴회) 회원은 연 1회, 최대 30일까지 휴회할 수 있다.
제3조(환불) 회원이 중도 해지를 원할 경우, 이미 이용한 개월 수의 정상가(월 8만 원)와 위약금(총 결제 금액의 10%)을 뺀 나머지를 환불한다.
제4조(양도) 회원권은 1회에 한해 양도할 수 있으며, 양도 수수료는 2만 원이다.

여섯 모델 모두 이용한 기간의 월 정상가와 총 결제 금액의 10% 위약금을 찾아냈다. 양도 수수료를 해지 비용으로 잘못 넣은 모델은 없었다. Claude Haiku 4.5와 GPT-6 Astra가 각각 9.5점으로 가장 높았다. 가벼운 모델도 내야 할 비용 항목을 빠짐없이 짚었다.

차이는 설명의 초점이었다. GPT-6 Astra는 이용한 개월 수에 월 8만 원을 곱하는 방식까지 풀어 줬다. Grok 4.5는 내야 하는 돈보다 돌려받는 금액을 중심으로 설명해 7.5점을 받았다. Claude Opus 5.5는 내용은 맞혔다. 다만 환불 설명과 조항 표시가 붙어 문장이 길어졌다는 평가를 받았다.

문제 1에 대한 모델별 실제 답 (2026년 9월 24일 실행, 앞부분만)

문제 2: 몇 시 버스를 탈까

도착 시각이라는 조건을 적용하고, 마지막 줄에 답만 남기는지 보는 문제다.

아래 버스 시간표를 보고, 오전 9시 50분까지 시청에 도착하려면 늦어도 몇 시 버스를 타야 하는지 답해 줘. 마지막 줄에 답만.

출발 08:55 → 시청 도착 09:40
출발 09:10 → 시청 도착 09:55
출발 09:25 → 시청 도착 10:10

모든 모델이 오전 8시 55분 출발편을 골랐다. 다음 버스는 오전 9시 55분에 도착해 약속 시각을 넘긴다. Grok 4.5는 “08:55"만 적어 10점을 받았다. Gemini 3.5 Flash도 출발 시각만 간결하게 적어 9.5점이었다.

Claude Haiku 4.5는 버스별 도착 시각을 설명하고 마지막 줄에 답 표시와 강조까지 붙여 7.5점에 그쳤다. GPT-6 Astra와 GPT-6 Luna는 시각 뒤에 “버스"를 덧붙였다. 이 표현을 두고 한 심사위원은 조금 깎았고, 다른 심사위원은 만점을 줬다. 같은 정답이라도 형식 평가는 갈릴 수 있다.

문제 2에 대한 모델별 실제 답 (2026년 9월 24일 실행, 앞부분만)

문제 3: 내가 챙길 물건만 골라낼까

안내문에 흩어진 개인 준비물을 모으고, 주최 측이 준비하는 물건은 빼는지 살폈다.

다음 안내문에서 준비물만 목록으로 뽑아 줘.

"이번 주 토요일 가족 캠핑에 참가하시는 분은 오전 9시까지 정문에 모여 주세요. 텐트는 주최 측에서 준비합니다. 개인 침낭과 물병은 꼭 챙겨 오시고, 밤에는 쌀쌀하니 겉옷도 준비해 주세요. 점심 도시락은 제공됩니다."

여섯 모델 모두 침낭, 물병, 겉옷을 빠짐없이 골랐다. GPT-6 Astra, GPT-6 Luna, Grok 4.5는 필요한 세 항목만 목록으로 남겨 각각 10점을 받았다. 준비물을 바로 확인하려는 목적에는 이렇게 짧은 답이 높은 점수를 받았다.

Claude Opus 5.5는 준비물은 맞혔지만 텐트와 도시락은 챙기지 않아도 된다는 설명까지 붙여 7점이었다. Claude Haiku 4.5는 도입 문장이 더해져 8.5점을 받았다. Gemini 3.5 Flash는 9.5점이었는데, 한 심사위원이 목록 기호를 이유로 점수를 깎았다. 점수 차이가 모두 정보의 정확성 차이는 아니었다.

문제 3에 대한 모델별 실제 답 (2026년 9월 24일 실행, 앞부분만)

라운드 성적표

응답 시간은 준비 시간을 뺀 값이다. 실행 경로가 달라 참고용으로만 보는 것이 좋다.

준비 시간은 “OK” 한마디를 받는 데 걸린 시간으로 쟀다. 이 값을 각 문제의 소요 시간에서 뺐다. 그래서 표의 수치는 이용자가 실제로 기다리는 전체 시간과 다르다. 출력 속도는 답변 글자 수를 이렇게 보정한 시간으로 나눈 값의 평균이다. 긴 답을 빨리 썼다고 요청에 더 잘 답한 것은 아니다.

그래서 뭘 쓰면 될까

짧은 약관이나 공지에서 필요한 항목만 찾는 일에는 가벼운 모델도 충분했다. 그중 GPT-6 Luna는 세 문제를 모두 맞히고 평균 9.3점을 받았다. 간결한 답을 원할 때 고려할 만한 선택지다.

답을 빨리 받고 싶다면 GPT-6 Astra가 눈에 띈다. 이번 측정에서 평균 0.4초였고, 평균 점수도 9.5점으로 가장 높았다. 다만 준비 시간을 뺀 결과라, 실제로 쓸 때도 가장 빠르다고 단정하기는 어렵다.

값비싼 상위 모델을 골라야 정답을 더 얻는다는 결과는 나오지 않았다. GPT-6 Astra와 GPT-6 Luna의 점수 차이는 0.2점이었고 정답 수는 같았다. Claude Opus 5.5는 Claude Haiku 4.5보다 빨랐지만 점수는 더 낮았다. 이번 문제에서는 모델의 급수보다, 물어본 내용만 남기는 답변 방식이 선택의 근거가 됐다.

지금까지 누적 순위

8개 라운드를 합친 평균 심사 점수에서는 GPT-6 Astra가 앞섰다. 이번에 세 문제를 다 맞힌 GPT-6 Luna는 누적 정답이 12/14다. 다른 다섯 모델의 14/14와 차이가 있다. 이번 유형의 결과만으로 다른 작업의 선택까지 정하기는 어렵다.

이번 비교의 한계

모델마다 세 문제를 한 번씩 실행한 결과다. AI가 매긴 점수도 참고 값이다. 한국어로 된 짧은 약관과 안내문에서는 가벼운 모델도 필요한 정보를 정확히 골랐다. 긴 계약서에서도 같은 결론이 유지되는지는 아직 알 수 없다. 확인하려면 문서 분량을 늘리고, 여러 조항에 흩어진 조건과 예외까지 찾게 하는 시험이 필요하다.