오픈AI, 답 만드는 내부 과정 빼내려는 시도 차단…계정 제한

오픈AI가 자사 모델의 비공개 추론 내용을 빼내려는 조직적 시도를 발견해 차단했다고 9월 30일(현지시간) 발표했다. 비공개 추론 내용은 모델이 답을 내놓기 전 내부에서 정리하는 과정으로, 사용자에게는 보이지 않는다. 오픈AI는 이번 시도가 이 내부 과정을 다른 모델 학습과 개선에 무단으로 쓰려던 것이라고 설명했다. 관련 계정을 금지하거나 이용을 제한했고, 추론 내용이 새 나갈 수 있는 경로에도 방어 조치를 적용했다고 밝혔다.

어떤 내용을 빼내려 했나

겨냥한 것은 모델이 답을 만드는 동안 거치는 내부 추론 내용이다. 오픈AI가 관찰한 수법 가운데는 한 대화에서 나온 암호화된 추론 내용을 다른 대화에 붙여 넣는 방식이 있었다. 그런 다음 모델에게 그 내용을 풀어서 적어 달라고 요청했다는 설명이다.

오픈AI는 암호화나 데이터베이스가 뚫린 것은 아니라고 밝혔다. 저장된 사용자 대화에 직접 접근한 것도 아니라고 설명했다. 회사는 다른 사용자의 암호화된 추론 내용을 이미 가진 사람이 그 내용을 다시 집어넣어 복원할 수 있던 경로를 막았다고 밝혔다.

사용자 1만5,000명, 어디서 나온 숫자인가

비슷한 형태의 지시문을 쓴 사용자를 모두 합친 수가 1만5,000명 이상이다. 오픈AI가 관찰한 활동은 7월 1일 시작됐다. 7월 24~25일에는 사용자 4,000명 이상이 보낸 관련 요청 1만6,000건이 확인됐다. 이후 조사 범위를 넓히면서 사용자 집단의 규모가 1만5,000명 이상으로 늘었다. 오픈AI는 7월 28일까지 해당 활동을 차단했다고 설명했다.

오픈AI는 이 활동의 핵심 집단을 Kimi 개발사 Moonshot AI와 관련된 개인들에게 연결했다고 밝혔다. 다만 관찰된 운영자 모두가 하나의 주체에 속했는지는 분명하지 않다고 덧붙였다.

오픈AI는 무엇을 바꿨나

오픈AI는 계정 제재와 함께 가입 절차와 서비스 기반 시설의 통제를 강화했다고 밝혔다. 관련 활동을 감시하는 조치도 늘렸다. 사용자가 보낸 요청뿐 아니라 모델이 내보내는 내용까지 검사한다. 추론 내용이 드러날 수 있는 출력을 걸러 내기 위해서다.

대응에는 외부 협력도 들어갔다. 오픈AI는 외부 서비스 업체와 협력하고, 정부와 업계의 정보 공유 창구를 활용했다고 밝혔다. 파트너가 운영하는 배포 환경과 도구 출력에 대한 방어는 계속 개선하고 있다고 설명했다. 모델이 다른 서비스나 도구와 연결되는 환경까지 방어 대상에 넣었다.

앞으로 지켜볼 대목은 오픈AI가 개선 중이라고 밝힌 파트너 운영 환경과 도구 출력의 방어다.