AI에 숨긴 기능, 추가 학습 500단계로도 드러나지 않았다

Contramont Research, 옥스퍼드대, ACS Research 소속 연구진이 AI 모델 안에 다른 신경망의 기능을 숨기는 방법을 공개했다. 10월 9일 내놓은 논문은 정해진 비밀 입력을 받았을 때만 숨은 계산을 실행하는 백도어를 다룬다. 백도어는 겉으로 드러나지 않는 뒷문 같은 장치다. 연구진은 특정 암호학적 가정 아래에서 숨긴 기능을 알아내기 어렵다는 점을 증명했다고 밝혔다. 논문은 NeurIPS 2026에 채택됐다.

비밀 입력을 넣으면 무슨 일이 생기나

숨길 신경망의 계산에 필요한 값을 암호로 잠근 뒤 모델 안에 넣는 방식이다. 모델은 올바른 비밀 입력을 받으면 이 값을 되살려 숨겨진 기능을 실행한다. 연구진은 두 가지를 증명했다고 밝혔다. 하나는 비밀 입력을 찾아내기 어렵다는 것이다. 다른 하나는 크기가 같은 두 기능 중 어느 것이 들어 있는지 구별하기 어렵다는 것이다. 증명은 논문이 정한 암호학적 가정을 전제로 한다.

이번 연구는 숨기는 대상을 문자열에서 계산 기능으로 넓혔다. 연구진의 2024년 선행 연구는 고정된 문자열을 감추는 백도어를 다뤘다. 이번에는 비밀 입력이 들어오면 신경망이 계산을 수행하도록 설계했다. 정해진 내용을 꺼내는 데서 나아가 숨겨 둔 기능을 작동시키는 방법을 연구했다.

추가 학습으로 숨은 기능을 되살릴 수 있나

실험에서는 화학 반응이 성립하는지를 둘 중 하나로 판별하는 작은 분류기를 숨겼다. 이를 담은 실험 모델은 38개 층으로 쌓았고, 모델 크기는 약 20억 7천만 개였다. 올바른 비밀 입력을 넣었을 때 분류 정확도는 73.5%였다.

비밀 입력 없이 추가 학습을 시켜도 성능은 돌아오지 않았다. 연구진이 500단계 추가 학습을 한 뒤 측정한 정확도는 50.9%였다. 둘 중 하나를 고르는 문제이므로 찍는 것과 비슷한 수준이다. 비교 대상은 암호를 아는 사람만 기능을 쓰게 막아 둔 흔한 방식의 모델이다. 이 모델은 같은 추가 학습 뒤 92.8%를 기록했다.

그래서 AI 점검에는 무엇이 달라지나

연구진은 모델 안에 암호 잠금 장치가 있다는 흔적 자체는 찾아낼 수 있다고 설명했다. 숨긴 기능의 내용을 알아내기는 어렵지만, 수상한 구조가 있다는 사실은 눈에 띌 수 있다는 뜻이다. 연구진은 이런 장치가 일반적인 모델 학습 과정에서 저절로 생긴다고 주장하지 않았다. 완성된 백도어를 기존 대형 언어 모델에 넣어 보는 실험도 하지 않았다.

논문은 누구나 읽을 수 있다. 저자들은 방어 연구에 쓰도록 실험 모델도 공개했다고 밝혔다.

AI를 도입하거나 점검하는 쪽에서 눈여겨볼 대목은 추가 학습으로도 드러나지 않는 기능을 일부러 설계할 수 있다는 실험 결과다. 작은 분류 과제에서 나온 결과가 더 큰 모델에서도 성립하는지, 암호 잠금 장치의 흔적을 찾는 점검이 얼마나 효과적인지가 다음 과제로 남았다.