나델라, "AI 권한은 모델 밖에서 묶어야" 기업 AI 통제 원칙 제안

사티아 나델라 마이크로소프트 최고경영자(CEO)가 기업에서 쓰는 고성능 AI를 어떻게 통제할지에 관한 설계 원칙을 내놓았다. 10월 10일 공개한 개인 글에서다. 나델라는 AI 모델을 내부 보안 위험의 하나로 다루며, 모델이 할 수 있는 일을 모델 밖의 시스템에서 제한해야 한다고 밝혔다.

AI의 권한은 누가 정하나

제안의 핵심은 AI 모델과 작업을 지휘하는 시스템을 분리하는 것이다. 어떤 정보에 접근하고 어떤 작업을 실행할지를 모델 밖에서 정해 두자는 내용이다. 기업이 AI를 업무에 쓸 때 답변의 품질만 보지 말고, 모델에 준 권한과 실제 행동까지 관리하라는 뜻이다.

나델라는 검증과 기록, 사람의 개입도 함께 제안했다. 여러 모델을 써서 결과를 서로 검증하고, 중요한 행동은 나중에 임의로 고칠 수 없는 형태로 기록해 두자는 것이다. 여기에 검증 대상 모델과 분리된 독립 검증 체계와, 담당자가 진행 중인 작업을 멈출 수 있는 기능을 더했다. AI를 지켜보는 데서 그치지 않고 필요할 때 세울 수 있어야 한다는 취지다.

모델이 답을 만들어 가는 과정을 들여다보는 것만으로는 결과를 믿기 어렵다는 것이 나델라의 설명이다. 그는 더 발전한 모델을 통제할 기술과 업계 공통의 기준이 필요하다고 적었다. 모델 내부의 생각을 확인하는 방법과, 모델이 실제로 하는 일을 밖에서 막는 장치가 함께 있어야 한다는 것이다.

‘초지능’이라는 말, 왜 눈에 띄나

나델라는 글에서 ‘초지능(Super Intelligence)‘이라는 표현을 썼다. 미국 백악관은 9월 29일 행정명령으로 연방 행정부 기관의 공식 문서 등에 ‘AI’ 대신 ‘Super Intelligence’를 쓰도록 지시한 바 있다.

매체 더디코더는 나델라의 표현을 트럼프가 선호하는 용어에 보조를 맞춘 행보로 해석했다. 또 AI를 내부 보안 위험으로 다룬 대목은 오픈AI와 앤트로픽을 겨냥한 것이라고 평가했다. 이 매체는 AI 연구소들이 자사 모델을 컴퓨터를 쓰는 주된 창구로 바꿔 가는 상황에서, 마이크로소프트가 뒤처질 수 있다는 점을 사업적 동기로 꼽았다.

업무에서 AI 쓸 때 무엇이 달라지나

업무용 AI를 쓰는 사람과 가장 가까운 대목은 접근 권한과 중단 기능이다. 나델라가 제안한 방식에서는 AI가 볼 수 있는 정보, 실행할 수 있는 작업, 행동 기록, 담당자가 개입하는 수단이 모두 관리 항목이 된다.

이번 제안은 AI 결과를 믿을 수 있는지 따지는 범위를 답변 검토에서 권한과 행동 관리까지 넓혔다. 나델라는 이를 뒷받침할 기술과 업계 기준이 필요하다고 강조했다. 앞으로 볼 지점은 이 원칙이 실제 서비스의 권한 설정과 기록, 감사, 작업 중단 기능에 어떻게 반영되는지다.