인물과 동작 따로 바꾸는 영상 생성 학습법 FAPL 공개

홍콩과기대와 텐센트 비디오, 에콜 폴리테크니크 연구진이 10월 22일 영화 같은 영상을 만드는 학습 방법 FAPL을 논문으로 공개했다. 인물, 장면, 동작, 카메라를 각각 따로 제어하는 것이 목표다. 대본처럼 정보가 적은 입력을 받아 시간 흐름에 맞는 장면을 만드는 데도 초점을 맞췄다.

원하는 요소만 바꿀 수 있을까

FAPL은 한 가지 요소만 다른 영상 두 개를 짝지어 학습에 쓴다. 인물, 장면, 동작, 카메라 가운데 어떤 요소를 바꿀지 쌍마다 미리 지정하고, 그 요소만 바꾸고 나머지는 그대로 두도록 학습시킨다. 연구진은 요소마다 2만 5천 쌍씩, 모두 10만 쌍의 영상을 썼다. 바탕이 되는 영상 생성 모델의 크기는 130억이다.

연구진이 짚은 기존 방식의 문제는 언어 모델이 이해한 내용이 영상 생성에 충분히 쓰이지 않는다는 점이다. 글과 이미지를 함께 다루는 언어 모델은 장면을 이해하는 데 쓸 만한 지식을 갖고 있다. 그런데 영상 생성 모델이 이 지식보다 원래 갖춘 텍스트나 참조 영상 입력 경로에 더 기댈 수 있다고 연구진은 설명했다.

FAPL은 학습 초기에 언어 모델이 정리한 내용만 영상의 조건으로 쓴다. 이어 요소별 정보를 서로 바꿔 보는 학습으로 무엇을 바꾸고 무엇을 유지할지 익힌다. 마지막에는 영상 생성 모델을 고정한 채 언어 모델과 두 모델을 잇는 연결 부분을 함께 학습한다. 장면마다 일일이 지시하지 않아도 목표 영상의 동작과 시간 흐름을 추론하도록 만드는 과정이다.

동작 순서와 얼굴, 얼마나 나아졌나

연구진이 직접 잰 결과 동작 순서와 편집 정확도가 올랐다. UniVideo와 비교해 동작 순서 점수는 48%에서 61%로, 요소별 편집 정확도는 42%에서 58%로 높아졌다. 각각 13%포인트와 16%포인트 개선된 수치다. 여러 쇼트, 즉 한 번에 찍은 화면들을 이어 붙였을 때의 얼굴 일치도도 0.451에서 0.523으로 올랐다고 연구진은 밝혔다.

이 항목들은 동작이 어떤 순서로 이어지는지, 지정한 요소만 제대로 바뀌는지, 여러 쇼트에서 같은 얼굴이 유지되는지를 본다. 장면을 이어 붙이거나 일부만 고치려는 제작자가 신경 쓰는 부분이다. 다만 복잡한 카메라 움직임을 해석하는 능력은 언어 모델의 한계에, 사실적인 연기를 표현하는 능력은 바탕이 되는 영상 생성 모델의 한계에 각각 묶여 있다고 연구진은 설명했다.

언제 직접 써볼 수 있나

연구 저장소에는 학습과 영상 생성용 코드, 학습이 끝난 모델 파일, 평가에 쓸 AI 지시문이 모두 공개 예정으로 표시돼 있다. 논문의 방법을 직접 돌려 보고 결과를 비교하려면 이 공개를 기다려야 한다.

FAPL은 언어 모델이 이해한 내용을 영상 생성에 반영하고, 원하는 요소만 골라 바꾸도록 학습한다. 연구진이 보고한 개선은 동작 순서와 편집 정확도, 얼굴 일치도에 걸쳐 있다. 남은 관심사는 코드와 모델 공개 일정, 그리고 실제 제작 현장에서도 같은 개선이 나타나는지다.