오픈AI, AI에게 훈련 환경 복제본 뚫게 해 허점 찾아 수정

오픈AI가 10월 23일(현지시간) 고성능 AI 모델을 훈련하고 평가하는 내부 환경의 격리 체계를 강화했다고 공개했다. 강력한 모델에게 직접 보안 경계를 뚫어 보라고 시켜 허점을 찾는 방식이다. 오픈AI는 이렇게 찾아낸 문제를 고치고 감시와 자동 중단 기능을 보강했다고 밝혔다.

인터넷을 막고 어떻게 훈련하나

오픈AI는 모델이 보상을 받으며 행동을 익히는 강화학습을 모델이 실제 인터넷에는 접속할 수 없는 환경에서 돌린다. 대신 미리 모아 정리해 둔 웹 자료를 쓴다. 훈련과 대부분의 평가에서 실제 인터넷 접근을 막아, 모델이 움직일 수 있는 범위를 좁힌다.

격리 장치는 여러 겹이다. 프로그램이 돌아가는 범위를 좁힌 공간과 가상 컴퓨터(가상 머신)를 두고, 감시 시스템과 네트워크, 클라우드 통제를 함께 걸었다. 다만 실험을 운영하고 감시하는 데 필요한 연결이 있어 외부망과 완전히 끊긴 환경은 아직 만들 수 없다고 오픈AI는 설명했다.

AI가 찾아낸 허점은 무엇인가

시험은 오픈AI의 연구 환경을 복제해 시험용으로 따로 만든 격리 공간에서 진행했다. 시험에는 출시 예정인 GPT-6 Astra Cyber와 내부 고성능 모델로 꾸린 팀이 참여했다. 스스로 일을 처리하는 AI(에이전트)들이 인터넷 접속, 내부 보안 경계 침범, 서로 격리된 AI 사이의 통신을 시도했다. 일부 시험에서는 방어 쪽에 불리한 조건을 만들려고 시스템을 돌리는 소스 코드와 설정 정보, 취약점을 설명한 문서까지 공격하는 AI에게 건넸다.

오픈AI는 이번 시험에 글자 조각 단위로 수천억 개에 이르는 분량을 썼다고 밝혔다. 시험에 참여한 AI는 가상 머신의 경계를 벗어날 수 있는 허점을 찾아냈다. 제한적으로 인터넷에 닿는 경로도 나왔다. 프로세서의 임시 저장 공간인 캐시를 이용해 격리된 환경끼리 정보를 주고받는 길까지 발견했다.

오픈AI는 허점을 고치고 감시와 자동 중단 체계를 강화한 뒤 훈련을 다시 시작했다. 중단한 지 11일 만인 10월 1일 고성능 모델의 강화학습과 내부에서 답을 만드는 작업을 재개했다고 밝혔다. 대규모 보안 시험은 앞으로 훈련과 평가를 계속해도 안전한지 판단하는 근거에 이미 포함했다.

이용자에게 무엇이 달라지나

이번에 손본 곳은 오픈AI가 모델을 훈련하고 평가하는 내부 환경이다. 이용자가 쓰는 출시된 모델의 환경과는 다르다고 오픈AI는 밝혔다. 이용자가 볼 지점은 오픈AI가 모델을 훈련하고 평가할 때 활동 범위를 어디까지 묶어 두는가다. 오픈AI는 모델에게 실제 인터넷을 더 넓게 열어 주려면 안전장치가 더 발전해야 한다는 입장이다. 남은 관심사는 이번에 강화한 격리와 감시 체계가 다음 보안 시험에서도 경계를 지키는지, 그 결과가 훈련과 평가의 안전성 판단에 어떻게 반영되는지다.