말 걸면 해적 목소리로 답하는 차고문, 엔비디아 직원이 공개

엔비디아 직원인 제작자가 10월 30일(현지시간) 허깅페이스 블로그에 핼러윈 프로젝트 ‘MonsterHouse’를 소개했다. 차고문에 입 모양 영상을 비추고, 방문객이 말을 걸면 심술궂은 해적선 목소리로 답하는 장치다. 엔비디아 Nemotron Voice Agent를 바탕으로 만들었고, 워크스테이션 한 대에서 돌아간다.

부탁하면 달라지는 차고문

MonsterHouse에는 침몰한 해적선의 목재로 지은 집이라는 설정이 붙어 있다. 처음에는 방문객을 귀찮아하지만 정중하게 부탁하면 누그러진다. 감사 인사를 건네면 따뜻하게 작별한다. 제작자는 한 번 마음을 연 상대와 같은 실랑이를 되풀이하지 않도록 앞선 대화 내용을 반영했다.

방문객의 말을 듣고 답을 만드는 일은 여러 AI가 나눠 맡는다. Nemotron 음성 인식 모델이 말을 글로 바꾸면, Nemotron 3.5 Bolt E4B 4GB가 대답을 쓴다. Magpie TTS Zeroshot이 그 대답을 캐릭터 목소리로 읽고, Audio2Face-3D가 음성에 맞춰 입을 움직인다. 이렇게 만든 입 모양을 Unreal Engine 5로 만든 장면에 입힌다.

성격을 일정하게 유지하는 데는 지시문만 쓰지 않았다. 제작자는 여러 차례 주고받는 대화 5,000건 이상을 학습 자료로 만들어 모델을 추가로 가르쳤다. 답변이 앞선 대화와 이어지는지, 같은 말을 반복하지는 않는지, 말투와 속도가 적절한지도 점검했다. 십여 개가 넘는 모델을 시험한 끝에 Bolt E4B를 골랐다. 비교 후보였던 Qwen3 30B-A3B, Qwen 3.6 35B-A3B보다 컴퓨터 자원을 덜 먹었다고 설명했다.

대답까지 얼마나 기다릴까

제작자가 직접 잰 결과, 방문객의 말이 끝난 뒤 새 답변이 소리로 나오기까지 걸린 시간은 중앙값 1.70초였다. 미리 저장해 둔 응답을 쓸 때는 0.72초였다. 지금은 0.3초 동안 침묵이 이어지면 말이 끝난 것으로 판단한다. 인사와 사탕 농담처럼 자주 쓰는 대사는 글이나 녹음으로 미리 준비해 기다리는 시간을 줄였다.

이미지: huggingface.co

목소리는 심술, 위협, 즐거움 등 일곱 가지 기분을 표현한다. 제작자는 기분마다 3~10초 길이의 음성 견본을 녹음했고, AI가 대사에 맞는 감정을 고르도록 했다. 입 모양은 효과를 넣기 전의 깨끗한 음성으로 만든다. 방문객에게 들려주는 소리에는 울림 같은 효과를 따로 더해 캐릭터 목소리를 완성했다.

집에서 그대로 만들 수 있을까

컴퓨터는 한 대지만 그래픽카드는 두 장을 썼다. RTX PRO 6000 Blackwell Max-Q가 대화와 음성을 처리하고, RTX PRO 4000 Blackwell이 그래픽과 입 모양을 맡는다. 제작자는 대화를 처리하는 동안에도 영상이 일정한 속도로 움직이게 하려고 역할을 나눴다고 밝혔다. MonsterHouse 코드 자체는 남에게 나눠 줄 수 있게 정리하지 않았지만, 쓰인 엔비디아 모델은 모두 가져다 쓸 수 있다고 설명했다.

이미지: huggingface.co

카메라로 방문객의 의상을 알아보는 기능도 붙였다. Nemotron 3 Nano Omni가 의상을 설명하고, 별도 기능이 사람 수와 움직임을 파악한다. 공개된 의상 인식 사례는 분장한 양 다섯 마리가 등장하는 합성 영상 시험이다. 제작자는 실제 진입로에 단체 방문객이 몰리는 상황과 야간 조명에서 더 시험해 봐야 한다고 밝혔다.

운영자가 마이크를 잡고 직접 집의 목소리를 내는 기능도 마련했다. 앞으로 볼 대목은 실제 방문객과 얼마나 자연스럽게 대화하느냐다. 제작자가 목표로 삼은 무인 운영과 사탕 자동 배부는 아직 숙제로 남아 있다.