대화를 모델 안에 기억하는 MemT-1.0 공개, 긴 대화 처리 1.86배 빨라

MemTensor 연구진이 10월 19일(현지시간) 대화 내용을 모델 안에 기억하는 MemT-1.0 기술 보고서를 공개했다. 함께 공개한 모델은 Nano와 Flash 두 종이다. 모델을 이루는 수치(가중치)와 실행용 코드도 공개해 직접 내려받아 돌려 볼 수 있다. 핵심은 지난 대화 원문을 매번 다시 넣는 대신, 대화에서 얻은 정보를 모델 내부 기억에 담아 두는 방식이다.

지난 대화를 어떻게 기억하나

MemT-1.0은 답을 만들 때 내부 기억에서 정보를 읽는다. 기억 저장 기능을 켜면 답변이 끝난 뒤 아직 저장하지 않은 앞선 대화와 현재 대화의 정보를 기억에 반영한다. 대화별 기억 상태를 저장해 두고 나중에 다시 불러올 수도 있다. 앞선 대화에서 쌓인 정보를 이어서 쓰도록 설계했다.

이 연구는 앞서 나온 Metis 연구를 바탕으로 한다. 대화 이력을 전부 들고 가거나 외부 문서에서 필요한 내용을 검색하는 방식과 달리, 정보를 모델 내부 상태에 담는다. 긴 대화를 다룰 때 원문을 계속 보관하고 읽는 부담을 줄이려는 시도다.

긴 대화에서 얼마나 빨라졌나

연구진은 긴 대화에서 Nano의 처리 속도와 저장 공간이 모두 나아졌다고 밝혔다. 대화 이력이 글자 조각 단위로 12만 8천 개에 이르는 조건에서 이력을 준비해 답을 내놓기까지 걸린 전체 시간이 약 1.86배 빨랐다. 기억을 계속 보관하는 데 드는 공간은 약 66분의 1로 줄었다. 비교 대상은 대화 이력의 계산 결과를 그대로 임시 저장해 두는 흔히 쓰는 방식이다.

다만 모든 작업에서 앞선 것은 아니다. 연구진이 실시한 11개 기억 성능 시험에서 두 모델은 모델 내부에 기억을 담는 방식들 가운데 1, 2위를 차지했다. 반면 긴 이력에서 정확한 근거를 찾아내는 작업에서는 기억을 글로 적어 저장하는 방식이 더 좋은 결과를 냈다.

직접 쓰려면 무엇이 필요한가

지금은 모델을 내려받아 직접 실행하는 형태로만 쓸 수 있다. 공식 안내는 리눅스 서버와 엔비디아 GPU 환경을 기준으로 한다. 일반 이용자가 바로 대화하는 앱이 아니라, 서버를 갖추고 모델을 직접 돌릴 개발자나 연구자가 먼저 살펴볼 단계다.

업무에 쓰려는 기업은 코드와 모델의 이용 조건을 따로 확인해야 한다. 공개 저장소의 실행 소프트웨어에는 상업적 이용을 막는 조건이 붙어 있다. 반면 Flash 모델의 가중치에는 자유로운 이용을 허용하는 MIT 라이선스가 표시돼 있다. 같은 프로젝트 안에서도 적용 조건이 다르다.

MemT-1.0은 대화의 기억을 모델 계산 안으로 옮겨 긴 이력을 처리하는 부담을 줄였다. 남은 숙제는 이 속도를 지키면서 정확한 근거를 찾는 능력까지 끌어올리는 일이다. 한국 이용자 입장에서는 한국어 대화에서의 기억 정확도와 국내 이용 경로, 운영 비용을 함께 따져 볼 만하다.