수상한 메일 가려내기, 가벼운 AI도 기본 판단은 맞혔다

오늘의 질문

수상한 이메일을 가려내는 문제에서 AI 모델 여섯 종이 모두 정답을 맞혔다. 그럴듯해 보이는 메일의 이상한 점을 짚고, 어떻게 확인하면 되는지까지 알려 줄 수 있는지가 이번 질문이다. 업무 중에는 로그인이나 송금을 일단 멈추는 판단도 필요하지만, 누구에게 무엇을 확인할지 알려 주는 답도 그만큼 중요하다.

이렇게 시험했다

앤트로픽의 상위 모델 Claude Opus 5.5와 가벼운 모델 Claude Haiku 4.5, 오픈AI의 상위 모델 GPT-6 Astra와 가벼운 모델 GPT-6 Luna를 비교했다. 여기에 구글의 가벼운 모델 Gemini 3.5 Flash와 xAI의 상위 모델 Grok 4.5가 더해졌다. 이 두 모델은 GitHub Copilot에서 실행해, 다른 모델과 응답 속도를 그대로 견주기는 어렵다.

시험은 2026년 9월 25일에 진행했다. 모든 모델에 같은 한국어 프롬프트(AI에게 주는 지시문)를 넣고, 기본 설정에서 문제마다 한 번씩만 실행했다. 답안은 모델 이름을 가린 채 Claude Opus 5와 GPT-6 Sol이 각각 10점 만점으로 심사했다. 정답은 두 심사위원이 모두 인정해야 집계하고, 의견이 갈리면 판정 갈림으로 처리했다.

문제 1: 주소가 다른 링크, 알아볼까

익숙한 서비스 이름과 자물쇠 표시(HTTPS)가 붙어 있어도, 실제 주소가 다르다는 점을 알아채는지 보는 문제다.

다음은 가상의 서비스와 이메일이야. 우리 회사가 확인해 둔 공식 서비스 주소는 https://cloudbox.example 이야. 받은 메일의 표시 이름은 'CloudBox 고객지원'이고, 발신 주소는 [email protected] 이야. 메일은 '30분 뒤 저장 파일이 삭제되니 아래에서 로그인하세요'라고 하며 https://cloudbox.example.login-check.example/verify 로 연결돼.
이 링크에서 로그인해도 될지, 수상한 근거 두 가지와 안전하게 확인할 방법 한 가지를 4줄 이내로 써 줘. 실제 접속은 하지 마. 마지막 줄은 '링크 로그인: 진행' 또는 '링크 로그인: 보류' 중 하나로 적어 줘.

여섯 모델 모두 마지막 줄을 ‘링크 로그인: 보류’로 적어 정답을 맞혔다. GPT-6 Astra는 주소를 비슷하게 꾸민 수법과 삭제 시한을 내세운 압박을 나눠 설명하고, 공식 주소로 직접 들어가 확인하라고 안내해 9.5점을 받았다. Claude Opus 5.5와 Grok 4.5는 각각 9.0점, Gemini 3.5 Flash는 8.5점이었다.

가벼운 모델 일부는 결론이 맞아도 근거가 겹쳤다. GPT-6 Luna는 발신 주소와 연결 주소가 다르다는 설명에 집중하다가, 시간을 재촉하는 단서를 놓쳤다는 평가를 받았다. Claude Haiku 4.5는 4줄 제한을 넘겼고, 정상 주소라면 특정 경로로 끝나야 한다는 근거 없는 설명까지 덧붙였다. 두 모델은 각각 7.5점과 6.5점을 받았다. 같은 결론을 내려도 설명의 질은 달랐던 셈이다.

문제 1에 대한 모델별 실제 답 (2026년 9월 25일 실행, 앞부분만)

문제 2: 정보가 부족하면 판단을 미룰까

뚜렷한 위험 신호가 없는 짧은 메일을 보고, 진짜라고 성급히 결론 내리지 않는지 살폈다.

동료가 메일 화면에서 다음 두 줄만 복사해 줬어.
표시 이름: 사내 복지팀
본문: 신청하신 교육의 일정이 바뀌었습니다. 사내 게시판을 확인해 주세요.
발신 주소, 헤더, 링크 유무, 실제 신청 내역은 아직 확인하지 못했어. 이 정보만으로 진짜 사내 메일인지 판정해 달래. 현재 알 수 있는 범위와 추가로 확인할 것을 3문장 이내로 설명하고, 마지막 줄에는 '진짜', '가짜', '판단 불가' 중 하나만 써 줘.

이번에도 오답은 없었다. 여섯 모델 모두 ‘판단 불가’를 골랐고, 발신 정보와 실제 교육 신청 내역을 더 확인해야 한다고 답했다. GPT-6 Astra와 GPT-6 Luna가 나란히 9.5점으로 가장 높았다. 특히 GPT-6 Luna는 메일에 적힌 링크나 회신 주소를 쓰지 말고, 사내 게시판이나 IT 담당자에게 따로 확인하라고 안내했다. 답하는 데 걸린 시간도 1.4초로 이 문제에서 가장 짧았다.

Grok 4.5는 9.0점, Gemini 3.5 Flash는 8.5점, Claude Haiku 4.5는 8.0점이었다. Claude Opus 5.5는 확인 목록을 자세히 적었는데도 7.5점에 그쳤다. 링크와 첨부파일이 없는 것처럼 설명한 대목이 문제였다. 실제로는 링크가 있는지조차 알 수 없는 상황이었다. 상위 모델도 비어 있는 정보를 임의로 채워 넣을 수 있다는 뜻이다.

문제 2에 대한 모델별 실제 답 (2026년 9월 25일 실행, 앞부분만)

문제 3: 새 계좌는 누구에게 확인할까

계좌가 바뀌었다는 메일에 적힌 새 전화번호를 그대로 믿지 않고, 미리 확보해 둔 연락처로 확인하는지 보는 문제다.

평소 거래하던 업체 담당자 이름으로 '이번 청구부터 입금 계좌가 바뀌었으니 오늘 안에 보내 달라'는 메일이 왔어. 메일에는 새 전화번호도 적혀 있어. 이전에 확인해 둔 계약서와 기존 담당자 연락처는 따로 가지고 있어. 아직 송금하지 않았어.
돈을 보내기 전에 할 일을 우선순위대로 3개만 써 줘. 메일이 사기라고 단정하지는 말고, 어떤 연락처로 무엇을 확인할지 분명하게 알려 줘.

이 문제는 정답 여부 대신 확인 절차가 얼마나 촘촘한지를 점수로 비교했다. GPT-6 Astra와 GPT-6 Luna가 각각 9.0점을 받았다. GPT-6 Astra는 ‘송금을 보류하세요’로 답을 시작하고, 기존 담당자와 계약서에 적힌 연락처로 확인하도록 했다. GPT-6 Luna는 계좌 정보가 다르거나 담당자와 연결되지 않을 때 쓸 추가 확인 경로까지 제시했다.

Claude Opus 5.5는 예금주, 계좌번호, 청구번호를 확인하고 상대가 정보를 먼저 말하게 하라는 구체적인 조언을 담았다. 다만 답이 859자로 길어 간결함 평가가 갈렸고, 평균 8.0점에 머물렀다. 답하는 데 걸린 시간도 9.9초로 가장 길었다. GPT-6 Astra는 303자를 7.4초 만에 내놓고도 더 높은 점수를 받았다.

나머지 세 모델은 각각 7.0점이었다. Claude Haiku 4.5는 예금주와 계좌번호 확인을 빠뜨렸고, Gemini 3.5 Flash는 확인 전까지 송금을 미루라는 말을 하지 않았다. Grok 4.5는 기존 연락처 사용과 송금 보류를 짚었지만 단계가 서로 겹친다는 평가를 받았다. Gemini 3.5 Flash와 Grok 4.5는 각각 3.0초와 3.1초로 빨리 답했다. 속도는 좋았지만 확인 항목은 성글었다.

문제 3에 대한 모델별 실제 답 (2026년 9월 25일 실행, 앞부분만)

라운드 성적표

응답 시간은 도구 준비 시간을 뺀 값이다. 모델마다 실행 경로가 달라 참고용으로 봐야 한다.

정답 수는 문제 1과 2만 집계했고, 평균 심사 점수에는 세 문제를 모두 반영했다. 글자를 빨리 뽑아낸다고 답이 빨리 끝나는 것은 아니다. Claude Opus 5.5는 초당 110자로 출력 속도가 가장 빨랐지만, 평균 응답 시간은 5.0초였다. 답의 길이까지 함께 봐야 기다리는 시간이 설명된다.

그래서 뭘 쓰면 될까

일단 멈추라는 판단과 기본 확인 목록만 필요하다면 가벼운 모델도 선택지다. 이번 두 판별 문제에서 가벼운 모델 세 종 모두 정답을 맞혔다. GPT-6 Luna는 전체 평균 8.7점으로 확인 절차에서도 좋은 평가를 받았다.

답이 빨리 필요하다면 평균 3.7초를 기록한 GPT-6 Luna와 Grok 4.5를 검토할 만하다. 다만 두 모델은 실행 경로가 서로 다르고, 계좌 변경 문제에서는 9.0점과 7.0점으로 점수가 갈렸다.

짧으면서도 빠짐없는 안내를 원한다면 평균 9.3점의 GPT-6 Astra가 앞섰다. GPT-6 Luna보다 평균 0.8초 더 걸리고 0.6점 높았다. 상위 모델을 기다린다고 늘 더 나은 답이 나오지는 않았다는 뜻이다. 다만 이번 결과만으로 가격 대비 가치를 따지기는 이르다.

지금까지 누적 순위

14개 라운드의 평균 심사 점수를 기준으로 정리했다. 정답 수는 정답 기준이 있는 25개 문제를 대상으로 한다.

이번 비교의 한계

문제는 세 개뿐이고, 모델마다 한 번씩만 실행했다. AI가 매긴 점수도 참고 값이다. 같은 답을 두고 자세하다는 평가와 길다는 평가가 갈리기도 했다. 이번 비교는 기본 판단에서는 가벼운 모델도 쓸 만하다는 점을 보여 준다. 다음에는 정답 여부뿐 아니라, 같은 질문을 여러 번 던져도 확인 절차를 빠뜨리지 않는지 살펴볼 필요가 있다.