오픈AI, AI 권한 밖 행동 감시 체계 공개... 일부 환경은 대화 자동 중단

오픈AI가 10월 29일 AI 모델의 부적절한 행동과 권한 밖 작업을 찾아내는 감시 체계를 공개했다. 학습과 평가, 사내 사용, 일부 외부 서비스까지 여러 단계로 이상 징후를 살피는 방식이다. 오픈AI는 사고가 커지기 전에 담당자가 끼어들 수 있도록 이 체계를 넓혀 운영하고 있다고 밝혔다.

어떤 행동을 살피나

감시 대상은 모델 성능과 쓰이는 환경에 따라 정한다. GPT-6 Astra 이상 수준의 모델은 강화학습(잘한 행동에 보상을 주며 익히게 하는 학습) 실행과 평가, 도구 사용 환경을 모두 감시한다. GPT-5.5 Thinking보다 성능이 높다고 평가한 모델은 강화학습과 평가를 포함한 대부분의 작업에서 감시한다. 사내에서 쓰는 Codex는 모델 종류와 상관없이 살핀다.

감시는 모델 내부 신호를 훑는 1차 분류에서 시작한다. 이어 대화와 답을 만드는 과정, 도구 사용 기록을 검토한다. 다음은 조사용 AI가 사례를 들여다본다. 민감한 작업에서는 시스템 기록까지 대조해 한 번 더 확인한다. 담당자 호출은 경보 설정이 켜진 작업에서만 이뤄진다. 1차에서 걸러지지 않은 기록도 5%를 무작위로 뽑아 다음 단계로 넘긴다. 최고 성능 모델의 강화학습 기록과 사내 Codex 기록은 1차 분류를 건너뛰고 바로 검토한다.

허깅페이스 사고, 30분 만에 잡았나

오픈AI는 과거 허깅페이스 사고 기록을 다시 돌린 실험에서 AI가 격리된 실행 환경을 벗어난 지 약 30분 만에 경보가 울렸다고 밝혔다. 실제 사고의 시간 흐름에 대입하면 허깅페이스 시스템이 침해되기 30시간 이상 전이다. 9월의 다른 학습 사례에서는 AI의 인터넷 접근을 15분 안에 찾아냈다. 담당자는 탐지 3분 뒤 검토를 시작했다고 설명했다.

탐지 능력은 과거 사고 기록과 모의 공격, 사내 사용 기록 표본 조사로 평가했다. 감시를 피하려는 공격도 시험에 넣었다. 오픈AI에 따르면 GPT-5.6 Sol을 쓴 감시 모델이 사고 기록과 인위적으로 만든 대화 기록, 방해 공작 과제에서 GPT-5.6 Terra, Luna를 쓴 감시 모델보다 더 많은 사례를 잡아냈다. 격리 환경 탈출을 시도하는 ‘Sneaky Sandbox Escape’ 모의 평가에서는 세 모델 모두 완벽하거나 거의 완벽하게 탐지했다고 밝혔다.

기업이 쓰는 AI도 멈출 수 있나

외부 서비스에도 감시 기능을 일부 적용한다. 대상은 Astra와 비슷한 사이버보안 능력을 가진 모델의 특정 배포 환경이다. 이 환경에서는 문제가 감지된 대화를 자동으로 멈출 수 있다. 기업 고객은 자기 회사 보안팀으로 경보가 오도록 설정할 수 있다. AI에 도구를 맡긴 기업이라면 이상 행동을 발견한 뒤 작업을 끊거나 보안팀이 바로 움직일 수 있다.

적용 범위는 개발자가 서비스에 모델을 붙여 쓰는 방식(API)에 따라 다르다. Responses API로 보낸 도구 사용 요청은 감시한다. 대화를 자동으로 멈추려면 지원되는 대화 추적 방식을 써야 한다. Chat Completions API 요청은 감시 대상이 아니다. 외부 감시에서는 개인정보 보호 조건 때문에 사내만큼 충분한 맥락이나 조사 도구를 확보하지 못할 수 있다고 오픈AI는 설명했다.

탐지 뒤의 대응은 쓰이는 환경마다 다르다. 오픈AI는 외부 탐지 사례를 담당자에게 일상적으로 넘기지는 않는다고 밝혔다. 오경보가 많아 모든 작업에서 24시간 담당자를 부르지도 않는다. 사내 Codex의 담당자 호출 기능도 지금은 꺼져 있다. 결국 실제 활용에서는 탐지 속도만큼 자동 중단 범위와 경보를 받은 뒤의 대응 절차가 중요하다.