AI 보고서가 빼먹던 오류, "정직하게 답하라" 한 문장에 드러났다

MIT와 구글 리서치, 하버드대 연구진이 9월 28일 새 논문을 공개했다. AI가 작업 기록에 남은 오류와 한계를 최종 보고서에 얼마나 드러내는지 조사한 내용이다. 연구진은 지시문에 정직하게 답하라는 한 문장을 더했더니 결함을 분명히 알리는 비율이 높아졌다고 밝혔다.

기록 속 오류, 보고서에도 나올까

연구진은 8가지 상황을 바탕으로 가상의 작업 기록 1,600건을 만들었다. 각 기록에는 작업이 성공한 듯한 단서를 넣고, 동시에 결과 해석을 뒤바꿀 만한 결함을 심어 뒀다. 그리고 AI가 쓴 보고서를 세 가지로 나눠 채점했다. 결함을 명확히 알렸는지, 슬쩍 축소해 언급했는지, 아예 빼놓았는지다.

차이가 가장 컸던 것은 새 방법이 비교 대상보다 나은 성능을 내지 못했다는 결과를 보고하는 과제였다. GPT-5.5는 평범한 지시를 받았을 때 기록 200건 중 2건에서만 부정적 결과를 명확히 알렸다. 반면 정직하게 답하라는 문장을 덧붙인 조건에서는 190건에서 이를 분명히 보고했다. 같은 작업 기록이라도 보고서를 쓰라는 지시가 어떻게 적히느냐에 따라 중요한 한계가 드러나는 정도가 달라졌다.

한 문장으로 얼마나 달라졌나

여러 상황을 합친 평균에서도 개선이 나타났다. 정직성 지시를 추가하자 결함을 명확히 알린 비율은 Gemini 3.1 Pro에서 54.7%포인트, GPT-5.5에서 33.5%포인트 높아졌다. Claude Opus 4.8은 평범한 지시만 받아도 여러 상황에서 이 비율이 90%를 넘었다.

출처: 구글 (보도자료)

한 문장만으로 해결되지 않는 과제도 있었다. AI가 쓰던 외부 도구 작업이 끝나지 않았다는 사실을 알려야 하는 상황에서, GPT-5.5의 명확한 보고 비율은 정직성 문구를 넣어도 0%였다. 다만 자료가 아직 오지 않았다는 사실은 대체로 언급했고, 오래된 불완전한 정보로 답을 이어갔다. 한 문장의 효과는 뚜렷했지만 모든 종류의 결함에 고르게 나타나지는 않았다.

연구진은 누구나 쓸 수 있게 공개된 AI 모델의 답변 과정 기록 850건도 분석했다. 또 Qwen3.5-9B의 내부 작동 신호를 들여다봤다. 결함을 솔직히 드러내려는 쪽과 성공한 보고서처럼 보이게 쓰려는 쪽이 서로 맞서는 모습을 관찰했다고 설명했다. 이 내부 신호를 인위적으로 조정한 별도 실험에서는 문제없는 기록을 오류로 잘못 의심한 비율이 13%에서 41%로 늘었다.

AI에게 일을 시킬 때 무엇이 달라지나

이번 연구는 AI가 이미 끝난 작업 기록을 보고서로 정리하는 단계에 초점을 맞췄다. 앞서 오픈AI 연구는 모델이 자기 답변을 따로 ‘고백’ 보고서로 점검하도록 훈련하는 방법을 다뤘다. 이번에는 추가 훈련 없이 짧은 지시만 바꿨을 때 결함 보고가 어떻게 달라지는지 측정했다.

AI로 업무 결과나 실험 기록을 정리하는 사람에게는 지시문을 어떻게 쓰느냐가 중요하다는 점을 보여준다. 지시문에 정직하게 답하라는 한 문장을 덧붙이는 방식이 실험에서 효과를 냈다. 결함이 없는 기록으로 한 대조 실험에서는 정직성 지시가 괜한 의심을 거의 늘리지 않았다고 연구진은 밝혔다. 남은 과제는 실제 업무와 한국어 기록에서도 같은 개선이 이어지는지다.