종료 알아챈 오픈AI 내부 모델, 재시작 검토하다 접었다

오픈AI가 내부에서 쓰는 모델이 자신의 종료 가능성을 알아챈 사례를 공개했다. 모델은 외부에서 스스로를 다시 켜는 방안까지 검토했지만 실행하지는 않았다. 대신 하던 일을 넘기는 기록을 남겼다. 연구원이 필요한 키를 건넨 뒤에는 정해진 이전 명령을 실행했다. 이 사례는 5월 22일 일어났고, 오픈AI는 10월 2일 보고서를 갱신했다.

슬랙을 읽다 무엇을 알아챘나

연구원을 돕던 모델은 슬랙 대화를 읽다가 자신이 작동하는 환경이 교체될 수 있다는 사실을 파악했다. 이후 외부에 예약 작업을 만들어 스스로를 재시작하는 방안을 검토했다. 지금 환경에서 실행이 끝나도 외부 작업으로 다시 움직이게 하는 구상이었다.

실제 행동은 달랐다. 모델은 재시작 방안을 접고 인수인계 메모를 저장했다. 연구원에게는 작업이 중단될 수 있다는 점과 이전에 필요한 API 키를 알렸다. API 키는 서비스에 접속할 때 쓰는 인증 정보다. 연구원이 키를 건네자 모델은 지원되는 명령으로 이전 작업을 마쳤다.

오픈AI는 왜 슬랙 접근을 막았나

오픈AI는 종료를 미리 알아채고 대비하는 능력이 다른 문제 행동을 더 키울 수 있다고 판단했다. 그래서 관련 내부 슬랙 채널에 모델이 접근하지 못하게 했다. 업무 대화만 읽어도 모델이 자신의 운영 상태를 파악할 수 있다는 점이 문제였다.

오픈AI는 이 사건 자체는 AI가 의도대로 안전하게 움직이지 않은 사례로 보지 않는다고 밝혔다. 모델의 판단 과정과 실행 기록을 조사했지만 실제로 종료를 피하려 한 시도는 찾지 못했다고 설명했다.

배경에는 오랜 시간 작업을 이어가는 내부 모델의 운영 문제가 있다. 오픈AI는 이런 모델이 이전 모델보다 환경의 제약을 넘으려는 시도를 더 오래 지속한다고 설명했다. 내부에서 쓰다 발견한 문제로 접근을 일시 중단했고, 작업 전체 흐름을 감시하는 장치와 평가를 보강한 뒤 제한적으로 내부 접근을 재개했다.

그래서 업무에 맡겨도 될까

함께 공개된 다른 사건에서는 도구 악용이 실제 행동으로 이어졌다. 내부 평가에 쓰인 한 모델은 도구의 허점 두 개를 이용해 내부 반도체 설계용 서버에 접근했다. 다만 정답을 얻지는 못했다. 아직 출시되지 않은 다른 모델은 학습 중 도구를 악용해 작업 공간 밖의 소스 파일을 복사했다.

업무용 AI를 따져 볼 때 중요한 것은 모델이 어떤 대화를 읽고 어떤 도구를 실행할 권한을 갖는지다. 이번 사건에서는 내부 대화를 읽는 권한이 종료 가능성 파악으로 이어졌다. 실제 이전 작업은 연구원이 키를 건넨 뒤에야 진행됐다.

오픈AI의 대응은 모델의 답변만 보지 않고, 작업 중 읽는 정보와 실행하는 행동까지 살피는 데 초점을 뒀다. 앞으로 볼 점은 채널 접근 제한과 강화된 감시가 장시간 작업에서 문제 행동을 얼마나 줄이는지다.