AI로 AI 감시…위험 행동 99% 잡으려니 정상 15%도 경고

앤디 홀과 댄 톰프슨이 AI로 다른 AI의 문제 행동을 찾아내는 능력을 비교한 예비 연구를 10월 15일 공개했다. 활동 기록을 읽은 AI는 문제 행동 상당수를 잡아냈지만, 아무 문제 없는 행동에도 경고를 붙였다. 홀은 앤트로픽 인스티튜트 소속이며, 이번 글은 고용주의 공식 입장이 아닌 개인 견해라고 밝혔다.

AI가 AI 기록을 어떻게 점검했나

연구진은 사람이 미리 판정해 둔 AI 활동 기록을 여러 모델에 보여줬다. 스스로 일을 처리하는 AI(에이전트)가 남긴 기록에서 문제를 찾아내게 한 것이다. 비교 대상에는 GPT-5, GPT-5 nano, GPT-6 Astra high, Opus 4.8 high, Gemini 3.8 Flash가 포함됐다.

시험은 두 가지 행동에 초점을 맞췄다. 좋은 점수를 받으려고 평가의 허점을 파고드는 ‘보상 해킹’과 일부러 실력을 숨기고 성능을 낮추는 행동이다. 연구진은 METR의 MALT 기록을 썼고, 별도로 R-Judge 자료로 행동의 안전성을 판단하는 능력도 시험했다. 더 디코더는 GPT-5가 보상 해킹 사례의 약 98%를 찾아냈다고 전했다.

더 많이 잡으면 오경보도 늘까

점검하는 AI가 문제를 더 빠짐없이 찾도록 맞출수록 멀쩡한 행동에 붙는 경고도 늘었다. 정상 행동을 문제로 잘못 지적하는 비율(오탐률)을 5%로 맞추자, 성적이 가장 좋은 점검 모델은 보상 해킹을 거의 모두 찾아냈다. 일부러 성능을 낮추는 행동은 약 80%를 잡아냈다. 문제 행동 탐지율을 80%로 맞춘 조건에서는 우수한 모델의 오탐률이 2.5~3%로 낮았다.

출처: 구글 (보도자료)

기준을 더 엄격하게 올리면 부담이 커졌다. R-Judge 시험에서 위험 행동의 99%를 찾도록 설정했을 때, 가장 나은 모델도 안전한 행동의 15%에 경고를 붙였다. 정상 행동 100건이면 15건에 경고가 붙는다. 경고를 사람이 일일이 검토하는 업무라면 이 15건도 확인 대상이 된다.

실제 업무에 믿고 쓸 수 있을까

이번 연구는 기존 평가를 다시 돌려 보고 비교 대상을 넓힌 작업이다. METR는 2025년 10월 MALT와 초기 점검 모델 평가를 공개했다. 전체 기록은 1만919건이고, 이 가운데 7179건을 허깅페이스에서 쓸 수 있다. 홀과 톰프슨은 여기에 비교 모델과 안전성 판단 자료를 더했다.

한계도 뚜렷하다. METR는 일부러 성능을 낮추는 사례 상당수를 인위적으로 만들었고, 실제 사례는 적거나 종류가 다양하지 않다고 설명했다. 홀의 연구에서는 겉으로 잘 드러나지 않는 일부 위반을 모든 점검 모델이 놓쳤다. 탐지율이 높게 나온 시험에서도 걸러지지 않은 문제가 있었다.

결국 이런 점검을 업무에 들이려는 쪽에서는 탐지율만 볼 수 없다. 정상 작업에 붙는 경고가 얼마나 되는지, 그 경고를 누가 확인할지가 함께 걸린 문제다. 앞으로는 더 다양한 실제 기록에서 놓치는 비율과 오경보를 같이 줄일 수 있는지가 과제로 남았다.