엔비디아, 실제 수술 기록으로 배운 AI 수술 시뮬레이터 공개
실제 담낭절제술 영상과 로봇 움직임을 학습한 Cosmos3-H-Dreams는 도구를 움직이면 이어질 수술 장면을 만들어 낸다. GPU 한 개로 돌아가며, 회사는 환자 진료용이 아닌 연구용이라고 밝혔다.
엔비디아가 10월 20일(현지시간) 수술 시뮬레이터 Cosmos3-H-Dreams를 공개했다. 실제 담낭절제술 영상과 수술 로봇의 움직임 기록을 학습한 AI다. 의사가 도구를 움직이면 이어질 수술 장면을 영상으로 만들어 낸다. 엔비디아는 NVIDIA RTX PRO 6000 GPU 한 개로 실시간 조작이 가능하다고 밝혔다.
연습 장면에서 실제 수술로
이전 모델 Cosmos-H-Dreams는 실습대 위 장면만 다뤘다. 수술 로봇 dVRK로 봉합하는 연습 작업이었다. 새 모델은 CMR Surgical의 Versius 수술 로봇으로 진행한 실제 수술 기록을 학습했다. 배경이 단순한 실습 환경을 벗어나, 몸속 조직의 움직임과 도구에 가려지는 부위까지 범위를 넓혔다.
작동 방식은 물체의 모양과 조직 변형을 하나씩 계산하는 기존 시뮬레이션과 다르다. 영상과 로봇 움직임의 관계를 미리 배워 두고, 시작 이미지와 도구 조작 정보만 받아 뒤이을 영상을 만든다. 몸속에서는 작은 움직임에도 조직이 늘어나고 빛의 반사가 달라진다. 엔비디아는 이런 변화를 표현하면서도 해부학적 구조와 도구 모양을 계속 유지해야 한다고 설명했다.
도구를 움직이면 장면이 바뀐다
학습 데이터로는 왼쪽 집게와 오른쪽 후크가 함께 보이며 작업에 참여하는 장면을 골랐다. 도구 움직임의 영향을 집중적으로 배우도록 카메라 조작은 제한했다. 두 로봇 팔의 위치와 방향, 집게 상태를 담은 조작 정보는 초당 10회 간격으로 영상과 맞췄다.
이미지: huggingface.co
엔비디아는 같은 시작 화면에 서로 다른 도구 조작을 적용한 시연도 내놓았다. VR 헤드셋으로 기록한 조작에 따라 수술 장면이 서로 다르게 이어진다. 회사는 이런 시연에서 세 가지를 확인할 수 있다고 설명했다. 도구가 명령대로 움직이는지, 조직이 그 움직임에 맞춰 반응하는지, 시간이 지나도 조직과 도구의 형태가 유지되는지다.
빠른 버전과 고화질 버전, 무엇이 다를까
공개 모델은 영상을 만드는 처리 단계가 네 번인 버전과 두 번인 버전으로 나뉜다. 두 단계 버전은 더 빨리 영상을 만드는 대신 화질이 떨어진다. 설정만 줄인 것이 아니라 따로 추가 학습한 모델이다. 엔비디아는 긴 영상을 이어 만들 때 오류가 쌓이는 문제를 줄이는 학습 방식도 적용했다.
연구자는 시간이 맞춰진 영상과 형식이 맞는 조작 데이터를 갖추면 다른 데이터와 다른 로봇 구성에 맞춰 이 시스템을 학습시킬 수 있다. 엔비디아는 조작 장치를 연결할 때 학습할 때와 같은 조작 규칙과 값 기준을 써야 한다고 밝혔다. 엔비디아는 데이터 준비부터 추가 학습까지 설명하는 안내서와 함께 코드와 모델을 공개했다.
엔비디아는 영상이 사실적으로 보여도 조직의 물리적 움직임까지 정확하다는 뜻은 아니라고 설명했다. 후속 연구로는 수술 전체 과정으로 범위를 넓히는 작업, 생성한 영상과 물리 계산을 결합하는 작업, 외과 의사에게 평가를 받는 작업을 제시했다. 회사는 이 시스템이 환자 진료용으로 검증한 제품이 아니라 연구용 시뮬레이터라고 밝혔다. 실제 수술 기록으로 도구와 조직의 상호작용을 연구할 환경이 한 걸음 넓어진 셈이다.