구글, 새로 배워도 덜 잊는 AI '수면' 학습법 공개

구글 리서치가 10월 27일 ‘수면 프레임워크’를 공개했다. AI가 사람과 대화하는 시간과 별도로, 그 내용을 정리해 기억으로 남기는 시간을 두는 학습 방식이다. 연구진은 새 사실을 배우면서 기존 지식을 잊는 문제를 줄였고, 복잡한 문제를 푸는 능력도 높였다고 밝혔다.

AI에 왜 ‘잠’이 필요할까

AI가 새로 알게 된 내용을 오래 간직하기 어렵기 때문이다. 대화 중에 읽은 내용을 활용하는 방식은 그 대화가 끝나면 쓸 수 없다. 그렇다고 모델을 새 데이터로 계속 학습시키면, 앞서 잘하던 일의 성능이 뚝 떨어지는 ‘파국적 망각’이 생긴다고 연구진은 설명했다.

수면 프레임워크는 사람의 뇌가 쉬는 동안 기억을 정리하는 과정에서 착안했다. 활동 중에 얻은 짧은 기억을 모델 안에 오래 남도록 옮기는 것이 핵심이다. 연구진은 사람과 주고받는 시간과 기억을 정리하는 시간을 번갈아 두는 학습 주기를 제안했다.

자는 동안 무슨 일이 일어나나

먼저 기억을 추린다. 접한 내용을 전부 저장하지 않고, 뜻이 통하고 일하는 데 도움이 되는 정보만 골라 압축한다고 연구진은 설명했다. 또 새 내용을 넣을 공간을 따로 마련해, 이미 배운 지식을 덮어쓰지 않도록 설계했다.

이미지: research.google

다음은 ‘꿈꾸기’ 단계다. 모델이 연습용 예시를 스스로 만들어 보고, 그중 학습에 도움이 되는 것을 골라 실력을 다듬는다. 이 과정은 사람이 미리 정한 학습 규칙과 모델 구조 안에서만 이뤄진다.

번역과 수학 시험 결과는

연구진은 만주어와 칼라망어처럼 모델이 배운 적 없는 언어를 차례로 익히게 하는 번역 시험에서, 수면 방식은 성능이 거의 떨어지지 않았다고 밝혔다. 같은 조건에서 대화 맥락을 활용하는 방식과 지도 추가 학습 방식은 앞서 배운 것을 크게 잊었다고 설명했다.

이미지: research.google

긴 글 이해 시험인 BABILong에서는 최대 1,000만 글자 조각(토큰) 분량의 정보를 다뤘다. 연구진은 긴 내용을 모델 내부 기억으로 압축한 수면 방식이 GPT-4와 Titans를 앞섰다고 밝혔다. 새 사실을 받아들이는 평가에서는 한 가지 과제만 줄 때 48.9%, 사전 학습을 계속하는 조건에서 46.2%를 기록했다고 보고했다.

수학 문제 풀이에서도 성적이 올랐다. 수면 방식을 적용한 모델의 정답률은 AIME 24에서 79.2%, AIME 25에서 69.0%, HMMT 25에서 46.1%였다. 연구진은 지도 추가 학습을 비롯한 다른 학습법보다 좋은 점수라고 밝혔다.

이용자 입장에서 중요한 지점은 하나다. 대화하며 알려 준 내용을 AI가 계속 기억하면서, 원래 잘하던 일도 그대로 해낼 수 있느냐다. 실제 서비스에 적용될지, 기억을 정리하는 데 시간과 비용이 얼마나 드는지는 아직 확인되지 않았다.