오픈AI, 문제 생긴 연구용 AI 출력 막는 Control Room 공개

오픈AI가 11월 9일(현지시간) 연구용 AI의 출력을 관리하는 중앙 시스템 Control Room을 공개했다. 안전이나 보안 문제가 생긴 작업에서 AI가 추가로 답을 내놓지 못하게 하는 장치다. 오픈AI는 모델이 답을 만드는 연구 작업에 이 시스템을 이미 적용했다고 밝혔다.

AI 출력을 어떻게 멈추나

Control Room은 연구 작업마다 구분할 수 있는 표시를 붙인다. 모델의 답을 만드는 시스템은 요청을 처리하기 전에 Control Room에서 허가 여부를 확인한다. 중단 대상으로 지정된 작업의 요청은 거부한다.

출력을 차단해도 해당 작업의 프로그램 자체는 계속 실행될 수 있다. 그래도 중단된 작업은 모델의 답을 추가로 얻을 수 없다. 같은 시스템을 쓰더라도 허가받은 다른 연구 작업은 계속 진행할 수 있다.

적용 대상에는 모델 학습과 평가에 필요한 AI 출력을 얻는 작업과 데이터 처리가 포함된다. 여기에는 스스로 일을 처리하는 AI(에이전트)가 쓰인다. 오픈AI는 에이전트가 모델의 답을 이용하는 모든 연구 작업에 안전성 검토와 승인을 요구한다고 설명했다. 최첨단 모델이 보상을 바탕으로 행동을 익히는 모든 학습 작업에는 별도 감시 모델도 쓴다고 밝혔다. 이 감시 모델은 학습 중인 모델의 행동을 살핀다.

중단에 왜 최대 35초가 걸리나

오픈AI에 따르면 중단 지시가 완전히 반영되기까지 최대 35초가 걸린다. 많은 요청을 처리하기 위해 허가 정보를 임시로 저장해 두기 때문이다. 회사는 이 지연을 없애는 작업을 진행 중이라고 밝혔다.

Control Room 자체가 멈추면 모델 출력 요청을 모두 거부하도록 설계했다. 오픈AI는 이 장애 대응 방식을 최첨단 모델의 연구 작업에 적용했다고 밝혔다. 발표 당시 나머지 연구 작업에도 며칠 안에 적용을 마칠 예정이라고 설명했다.

연구용 AI 관리, 무엇이 달라지나

오픈AI는 연구용 AI의 행동을 감시하는 데 더해, 문제가 생긴 작업의 추가 출력을 차단하는 장치를 갖췄다. Control Room은 안전성 검토와 행동 감시를 출력 중단으로 연결한다. 이때 허가받은 다른 작업은 이어갈 수 있다.

앞으로 남은 과제는 오픈AI가 예고한 두 가지 개선이다. Control Room에 장애가 생기면 요청을 거부하는 방식을 나머지 연구 작업에도 적용해야 한다. 중단 지시가 반영되기까지 걸리는 최대 35초의 지연을 없애는 작업도 진행 중이다.