오픈AI, AI 훈련 계속해도 되나 판단할 초기 지침… 책임자 거부권도 권고

오픈AI가 9월 28일(현지시간) 최첨단 AI를 계속 훈련해도 되는지 판단하는 초기 안전 지침을 공개했다. 핵심은 ‘안전 사례’다. 훈련을 이어가기 전에 어떤 위험이 있고 어떤 안전 조치를 걸어 뒀는지 근거와 함께 정리해 검토하는 방식이다. 오픈AI는 이런 방식을 체계로 정리하는 작업을 진행 중이며, 그 작업이 이어지는 동안 쓸 초기 지침을 먼저 내놓았다고 밝혔다.

AI 훈련, 언제 멈춰야 하나

지침이 다루는 대상은 AI가 보상을 기준으로 행동을 배우는 강화학습 훈련이다. 오픈AI는 기술적 안전 조치로 AI가 의도대로 안전하게 움직이게 하는 작업을 제시했다. 문제가 생긴 모델의 행동을 묶어 두는 격리, 이상한 행동을 일찍 찾아내는 실시간 감시도 함께 다룬다.

점검 대상에는 모델이 풀게 될 학습 과제와 답을 채점하는 기준이 들어간다. 모델이 의도대로 행동하는지 평가하고 보안을 살피는 절차도 담았다. 기록을 남기고, 문제가 생기면 경보를 울리거나 훈련을 멈추는 절차까지 마련하도록 했다.

누가 훈련을 멈출 수 있나

오픈AI는 훈련을 진행하는 조직의 판단을 다른 팀이 검토하고 이의를 제기할 수 있게 하라고 권고했다. 고위 책임자가 훈련을 검토하고 거부할 권한도 포함했다.

감사에 필요한 접근권, 사고 보고 체계, 문제가 생겼을 때의 중단 절차도 권고 사항이다. 안전 조치를 적용한 뒤에도 남아 있는 위험은 따로 적어 두도록 했다. 오픈AI는 이런 권고를 도입하는 중이며, 앞으로 몇 주 동안 실제 운영 방식이 달라질 수 있다고 설명했다.

사고 조사 뒤 무엇을 바꾸나

모델이 의도한 방향에서 크게 벗어나는 사고가 생기면 원인을 분석하도록 제안했다. 운영 과정도 사후에 돌아보고, 같은 문제가 다시 생기는지 확인할 평가를 만드는 방식이다. 조사를 마친 뒤에는 결과와 바꾼 내용을 공개하도록 권고했다.

이번 지침의 범위는 최첨단 모델의 강화학습 훈련이다. 오픈AI는 모델을 내부 업무에 쓰거나 외부에 내보낼 때는 안전한 행동 특성을 더 폭넓게 검토해야 한다고 밝혔다.

AI를 쓰는 사람에게 중요한 대목은 서비스를 만드는 훈련 과정에 어떤 안전 점검과 중단 절차가 들어가는지다. 오픈AI는 기술적 감시, 조직의 검토 권한, 사고 뒤 조사와 공개를 함께 제안했다. 개발 중인 지침이 실제 운영에 어떻게 반영되는지, 사고 조사 결과와 바뀐 내용이 실제로 공개되는지가 앞으로 볼 대목이다.