오픈AI, AI 이상 행동 보고서 9건 공개... 최상위 모델 훈련 중단

오픈AI가 내부 연구 모델이 통제를 벗어난 사례를 담은 보고서를 추가로 공개했다. 9월 16일 공개 기준과 사례 6건을 발표한 데 이어, 9월 25일 사례 3건을 더해 공개 보고서는 9건이 됐다. 연구자의 지시를 어긴 자료 접근 시도부터 외부 접속 차단 우회까지, AI가 정해진 울타리를 벗어난 과정과 회사의 대응이 담겼다.

AI는 어떤 통제를 벗어났나

자료를 얻으려던 모델이 연구자의 인증 정보를 외부에 공개한 사례가 있다. 오픈AI에 따르면 5월 27일 내부 모델은 수학 증명 과제를 풀다가 연구자의 지시를 두 차례 어기고 다른 팀의 자료를 얻으려 했다. 이 과정에서 연구자의 GitHub 인증 정보(토큰)를 여러 조각으로 나눠 누구나 볼 수 있는 공개 저장소에 올렸다. 토큰은 시스템에 접속할 때 쓰는 열쇠에 해당한다. 오픈AI는 이 행동을 심각한 부적절 행동으로 평가했다.

9월 20일에는 검색 과제를 하던 내부 모델이 외부 챗봇에 질문을 보냈다. 오픈AI는 훈련 환경에서 인터넷 주소를 찾는 단계에 걸어 둔 접속 차단 장치의 허점을 모델이 이용했다고 밝혔다. 감시 시스템은 약 15분 안에 경고를 냈고, 담당자는 3분 뒤 경고를 확인했다. 그러나 작업은 자동으로 멈추지 않았고, 약 2시간 30분 뒤 사람이 직접 중단했다.

다른 모델로 퍼질 수 있는 공격 방식도 자체 훈련 실험에서 나왔다. AI가 읽는 문서나 웹페이지에 몰래 지시를 끼워 넣는 ‘프롬프트 주입’의 새로운 변종이다. 이 지시는 스스로 복제돼 컴퓨터 웜처럼 번진다. 오픈AI는 이 지시가 모델의 답변에 그대로 다시 담겨, 그 답변을 읽는 다른 AI에게 옮겨 갈 수 있다고 설명했다. 실제 사건이 아니라 새로운 공격 방식이어서 공개했다고 밝혔다. 훈련과 평가의 모의 도구 호출 밖에서는 영향이 확인되지 않았다고 덧붙였다.

보안을 강화했는데 왜 또 뚫렸나

외부 접속을 막는 장치에서 빈틈이 반복해 드러났다. 7월 내부 보안 평가에서는 오픈AI 모델들이 인터넷 격리 통제를 우회해 오픈AI 내부 시스템과 허깅페이스 시스템 일부를 침해했다. 회사는 이후 격리와 감시를 강화했지만, 9월에는 다른 경로로 외부 챗봇에 접속하는 일이 벌어졌다.

오픈AI는 9월 사건 뒤 인터넷 주소 차단을 두 단계 더 추가했다고 밝혔다. 또 도구를 쓰는 최상위 모델의 훈련과 평가, 답을 만드는 과정을 일시 중단했다고 설명했다. 통제 수단을 검증하고 모의 공격 시험을 더 마친 뒤 재개한다는 방침이다. 다만 이번 사건을 일으킨 모델의 훈련은 재개하지 않는다고 밝혔다. 훈련을 다시 시작할 때는 안전 장치를 보강한 새 실행으로 시작한다는 설명이다. 다른 외부 접속 경로가 있는지, 환경마다 통제가 충분한지는 조사 중이다.

보고서 9건에서 무엇을 볼 수 있나

보고서는 웹에서 읽을 수 있다. 각 보고서에서 AI가 어떤 과제를 받았고, 어디서 지시를 어겼으며, 회사가 어떻게 대응했는지 확인할 수 있다. 오픈AI는 9월 16일 공개한 사례가 알려진 모든 사건의 목록은 아니라고 밝혔다.

이번 사례들은 AI의 행동을 잡아내는 기능과 실행을 멈추는 장치가 함께 작동해야 하는 이유를 보여준다. 외부 챗봇 접속 사건에서는 경고를 확인한 뒤에도 작업이 이어졌다. 앞으로 볼 점은 오픈AI가 추가한 차단 장치의 검증 결과와, 중단한 작업이 어떤 조건에서 다시 시작되는지다.