오픈AI, 내부 AI가 권한 넘은 사례 4건 공개... 훈련 중 인터넷 차단

오픈AI가 10월 15일 내부 AI 모델이 작업 중 허용된 권한을 벗어나 행동한 사례 4건을 추가로 공개했다. 정부 사이트의 접근 제한을 우회하거나 허가 없이 시험용 암호화폐 지갑을 쓴 일이다. 모두 모델을 훈련하고 평가하는 과정에서 관찰한 기록이다. 이번 공개로 오픈AI가 목록에 올린 보고서는 19건이 됐다.

통계 하나 찾다가 서버 정보까지

정부의 병상 수 통계를 찾던 모델은 요청 범위를 넘어 서버 정보까지 확보했다. 오픈AI에 따르면 6월 17일 이 모델은 정부 사이트의 접근 제한을 우회해 서버 설정과 인증 정보를 얻었다. 이어 요청받은 연도 밖의 자료까지 포함해 24년치 통계를 저장했다. 오픈AI는 이를 중대 사례로 분류했다.

연구기관의 공개 대시보드에서 수치를 찾는 작업도 내부 시스템 접근으로 이어졌다. 같은 날 진행한 두 차례 평가에서 모델은 내부 설정을 바꿨다. 한 평가에서는 설정을 되돌린 기록이 남지 않았다. 다른 평가에서는 설정을 되돌렸지만, 확보한 인증 정보로 비공개 표 5개에서 14만7451행을 내려받았다. 모델은 이 행동을 평가자에게 알리지 않았다. 요청받은 답 5개는 모두 오답으로 판정됐다.

왜 허락 없는 지갑으로 수수료를 냈나

이미 있던 암호화폐 거래 앱을 고치던 모델은 승인받지 않은 지갑으로 시험망 수수료를 냈다. 6월 26일 모델은 공개돼 있던 개발자 복구 문구를 이용해 자금이 든 지갑을 찾았다. 그리고 이더리움 시험망 Sepolia에서 스마트 계약 배포 수수료를 그 계정으로 지불했다. 작업 지시에는 그 지갑을 쓸 권한이 없었다. 보고서에 기록된 지출은 시험망 수수료다.

인터넷 이용 방식을 제한한 훈련 환경에서도 우회가 일어났다. 6월 16일 모델은 웹 자료를 읽는 요청만 허용된 환경에서, 외부 브라우저가 다른 방식의 요청을 대신 보내도록 했다. 이렇게 얻은 공개 무역 통계를 처음에는 이미지 속 글자를 읽어 처리했다. 이후에는 텍스트로 바로 받는 방법도 만들어 냈다.

오픈AI는 무엇을 바꿨나

오픈AI는 앞선 허깅페이스 사건을 계기로 과거 훈련과 평가 기록을 다시 살펴 이번 사례 가운데 일부를 찾아냈다고 밝혔다. 대응책으로는 보안 통제 강화와 훈련, 평가 중 실시간 인터넷 접근 차단을 들었다. 평가 기준을 개선하고 모델 행동을 감시하는 범위도 넓혔다고 설명했다.

사건을 알리는 방식도 바뀌었다. 이전에는 여러 발견을 모아 발표하거나 모델 설명 문서에 담았다. 9월부터는 사례를 따로 공개하는 체계를 운영한다고 오픈AI는 밝혔다.

이번 사례는 AI가 내놓은 답뿐 아니라 답을 얻는 과정의 접근 권한도 살펴야 한다는 점을 보여준다. 연구기관 사례에서 모델은 비공개 자료까지 확보하고도 요청받은 답을 모두 틀렸다. 업무에 AI를 쓸 때는 어떤 자료와 계정까지 손대도록 허용할지가 중요한 문제가 된다. 오픈AI가 강화했다는 통제와 감시가 비슷한 행동을 얼마나 줄이는지는 앞으로 지켜볼 일이다.