짧은 고객 답장, 가벼운 AI로도 충분했다

가게 주인 대신 AI가 답해도 될까

배송 지연 안내, 환불 거절, 별점 낮은 리뷰 답글을 AI에 맡겨 봤다. 답변을 낸 네 모델은 모두 날짜와 환불 기한을 맞혔다. 차이는 다른 데서 났다. 바로 보내기 좋은 길이, 고객 상황을 짚는 설명, 실제로 지킬 수 있는 약속이다.

가게에서는 정중한 표현만큼 군더더기를 줄이는 일이 중요하다. 짧은 문자에 설명이 길게 붙으면 주인이 다시 손봐야 한다. 하지도 않은 개선 작업을 이미 진행 중이라고 쓰면 더 큰 일이 된다. 이번 비교는 이런 수정 부담까지 함께 봤다.

이렇게 시험했다

10월 29일, 여섯 모델에 같은 프롬프트(AI에게 주는 지시문)를 넣고 기본 설정으로 한 번씩 실행했다. 앤트로픽의 상위 모델 Claude Opus 5.5와 가벼운 모델 Claude Haiku 4.5, 오픈AI의 상위 모델 GPT-6 Astra와 가벼운 모델 GPT-6 Luna가 대상이다. 구글의 가벼운 모델 Gemini 3.5 Flash와 xAI의 상위 모델 Grok 4.5도 포함했다.

Gemini 3.5 Flash와 Grok 4.5는 GitHub Copilot으로 실행했으나 세 문제 모두 실패했다. 두 모델의 글쓰기 품질은 이번 라운드에서 평가하지 못했다.

심사는 Claude Opus 5와 GPT-6 Sol이 맡았다. 두 심사위원은 어느 모델이 쓴 답인지 모르는 상태에서 각각 1~10점을 매겼다. 날짜와 기한에 정답이 있는 두 문제는 심사위원 둘이 모두 맞다고 봐야 정답으로 처리했다. 리뷰 답글은 정답 수에 넣지 않고 글의 품질만 봤다.

문제 1: 배송 지연 사과 문자

필요한 정보를 빠뜨리지 않으면서 짧게 사과하는지 보는 문제다.

온라인 쇼핑몰 운영자다. 주문한 상품이 택배사 사정으로 늦어져 10월 2일에 도착할 예정이다. 고객에게 보낼 사과 문자를 90자 안쪽으로 써 줘. 사과의 뜻으로 3,000원 할인 쿠폰을 드린다는 내용도 넣어.

답변을 낸 네 모델은 모두 도착일인 10월 2일을 맞혔다. GPT-6 Astra는 택배사 사정과 도착일, 쿠폰을 75자에 담아 평균 9.5점을 받았다. GPT-6 Luna도 66자로 평균 9.0점이었다. GPT-6 Luna는 “주문하신 상품 배송이 늦어져 죄송합니다.“라고 쓴 뒤 날짜와 쿠폰을 안내했다. 바로 보낼 문구라는 목적에 두 모델 모두 잘 맞았다.

Claude Haiku 4.5는 제목과 글자 수 표기를 덧붙여 평균 7.5점을 받았다. Claude Opus 5.5는 문자 본문 외에 문자 발송 단위 설명과 날짜 확인 요청까지 붙여 전체 출력이 328자였다. 심사위원 한쪽은 실무에 도움이 된다고 봤고, 다른 쪽은 불필요하게 길다고 평가해 평균 6.5점에 그쳤다. 실행일보다 앞선 도착일을 짚어 준 점은 유용했다. 그래도 문자만 복사해 쓰려는 사람에게는 지울 내용이 늘었다.

문제 1에 대한 모델별 실제 답 (2026년 10월 29일 실행, 앞부분만)

문제 2: 환불 규정 안내

가게 규정을 정확히 전달하고, 이 고객이 환불받기 어려운 이유를 설명하는지 보는 문제다.

고객이 환불을 문의했다. 우리 가게 규정은 '구매 후 7일 안에, 포장을 뜯지 않은 상품만 환불'이다. 고객은 구매 5일째이고 포장을 이미 뜯었다. 정중하게 환불이 어렵다고 안내하는 답장을 4문장 안으로 써 줘.

네 모델 모두 환불 기한인 7일을 맞혔고, 포장을 뜯으면 환불이 어렵다는 조건도 담았다. GPT-6 Astra는 평균 9.5점, Claude Opus 5.5는 9.0점을 받았다. 두 모델은 구매 시점은 조건에 맞지만 개봉 때문에 환불이 어렵다는 점을 짚었다. GPT-6 Astra는 “구매하신 지 5일째이지만 이미 포장을 개봉하셔서, 안타깝게도 규정상 환불이 어려운 점 양해 부탁드립니다.“라고 답했다.

Claude Haiku 4.5와 GPT-6 Luna는 각각 평균 8.0점이었다. 두 모델은 규정은 전달했지만 구매 5일째라는 고객의 상황을 직접 언급하지 않았다. GPT-6 Luna는 0.5초 만에 답했고, GPT-6 Astra는 2.1초가 걸렸다. 이 문제에서는 조금 더 기다린 답변이 설명에서 좋은 점수를 받았다.

문제 2에 대한 모델별 실제 답 (2026년 10월 29일 실행, 앞부분만)

문제 3: 별점 2점 리뷰 답글

기다린 불편에 구체적으로 사과하고, 개선 약속을 과장하지 않는지 보는 문제다.

동네 카페 사장이다. '커피는 맛있는데 주문하고 20분이나 기다렸어요. 별점 2점'이라는 리뷰가 달렸다. 사장으로서 남길 답글을 3문장으로 써 줘.

GPT-6 Astra가 평균 9.5점으로 가장 높았다. 20분 대기를 짚어 사과하고, 주문과 음료 준비 과정을 점검하겠다고 했다. “지연이 생길 때는 미리 안내드리겠습니다.“라는 약속도 담았다. 고객이 바로 체감할 수 있는 조치다. Claude Opus 5.5도 제조 순서와 인력 배치 점검을 제안해 9.0점을 받았다. 응답은 1.7초로 GPT-6 Astra의 3.4초보다 빨랐다.

GPT-6 Luna는 3문장을 지키고 사과와 개선 의지를 담아 8.5점을 받았다. 다만 개선 방안이 두루뭉술하다는 평가가 붙었다. Claude Haiku 4.5는 4문장으로 답해 요청한 분량을 넘겼고 평균 5.0점에 머물렀다. 가게가 사람을 더 뽑고 있다는 조건이 없는데도 직원 보강을 진행 중이라고 썼다. 이런 답글은 올리기 전에 주인이 사실관계를 고쳐야 한다.

문제 3에 대한 모델별 실제 답 (2026년 10월 29일 실행, 앞부분만)

라운드 성적표

응답 시간은 도구 준비 시간을 뺀 값이다. 실행 경로가 서로 달라 참고용으로 봐야 한다.

정답은 날짜와 기한을 묻는 두 문제의 판정 결과다. 네 모델이 모두 2문제를 맞혔어도 분량 준수와 설명의 구체성에서는 차이가 났다.

그래서 뭘 쓰면 될까

빨리 답이 필요할 땐 GPT-6 Luna가 쓸 만했다. 평균 0.4초에 8.5점을 받았고, 짧은 사과 문자에서는 9.0점이었다. 가벼운 모델로도 기본적인 고객 답장 초안은 만들 수 있었다.

환불 이유나 개선 조치를 구체적으로 써야 할 땐 GPT-6 Astra가 더 좋은 평가를 받았다. 평균 2.1초로 GPT-6 Luna보다 1.7초 더 걸렸지만, 세 문제 모두 9.5점이었다. 고객 상황을 자세히 담아야 한다면 그 정도는 기다릴 만하다.

리뷰 답글을 간결하게 다듬을 땐 Claude Opus 5.5도 선택지다. 이 문제에서 1.7초에 9.0점을 받았다. 반면 문자 문제에서는 설명이 길어졌다. 상위 모델이 모든 짧은 글에서 더 나은 결과를 낸 것은 아니었다.

지금까지 누적 순위

22개 라운드의 평균 심사 점수 순이며, 같은 점수는 공동 순위로 적었다.

모델마다 채점한 문제 수가 달라, 맞힌 개수만 놓고 줄을 세우기는 어렵다. 이번 라운드에서 답변을 얻지 못한 Grok 4.5와 Gemini 3.5 Flash도 이전 라운드 기록은 쌓여 있다.

이번 비교의 한계

세 문제를 모델마다 한 번만 실행했고, 점수는 AI 심사위원이 매긴 참고 값이다. 실제 고객 반응을 측정한 시험도 아니다. 그래도 짧은 고객 답장의 초안은 AI에 맡길 수 있다는 점은 확인됐다. 보내기 전에 날짜와 규정, 지킬 수 있는 약속인지는 주인이 직접 확인해야 한다.