로봇은 왜 블록 쌓기에 실패할까, 가상 실험장 ToyBlocks 공개

로봇이 블록을 밀고 뒤집고 쌓는 과정을 연구하는 공개 가상 실험 환경 ToyBlocks가 11월 6일 공개됐다. 연구진은 허깅페이스 블로그에서 가상 탁자 위의 로봇팔과 블록으로 학습과 평가 조건을 바꿀 수 있다고 밝혔다. 과제를 성공했는지만 보지 않는다. 로봇이 어떤 경험을 배웠고 어디서 실패했는지까지 들여다보는 것이 목적이다.

왜 블록으로 시험할까

ToyBlocks는 통제된 가상 환경에 과제 만들기, 학습용 시범, 행동 측정 도구를 묶은 FoundationWorlds 구상의 첫 사례다. 연구진은 대상을 좁혀야 움직임과 겉모습을 현실에 가깝게 구현하면서 여러 과제를 반복 시험할 수 있다고 설명했다. 앞으로 더 복잡한 환경으로 이 방식을 넓힐 계획이다.

블록을 다루는 일에도 판단이 여러 번 필요하다. 블록 면에 있는 그림과 글자를 찾아 분류하거나 정해진 순서로 배열해야 한다. 보이지 않는 글자를 확인하려면 블록부터 돌려야 한다. 블록 크기와 탁자 높이를 바꿔, 익숙한 동작을 새로운 조건에서도 해내는지 시험할 수도 있다.

학습 사례, 사람 없이 어떻게 모을까

학습용 시범을 자동으로 만드는 기능이 사람의 조작 부담을 줄인다. 사람이 로봇을 원격으로 움직여 사례를 모으는 대신, 시뮬레이션에서 과제를 끝내는 과정을 기록한다. 짧은 동작 학습에는 엔비디아의 로봇 학습 도구 Isaac Lab을 쓴다. 연구진은 그래픽처리장치(GPU) 한 개로 수백 개의 계획을 동시에 만들고 실행해, 실제 시간보다 최대 24배 빠르게 데이터를 모을 수 있다고 밝혔다.

이미지: huggingface.co

연구자는 로봇이 어떤 경험을 얼마나 배울지도 조절할 수 있다. 뒤집기 사례를 늘리거나 회전과 집어 옮기기 사례를 섞은 뒤, 훈련에 쓰지 않은 과제로 효과를 비교하는 방식이다. 평가는 성공률에 그치지 않는다. 실행 속도, 물체에 가한 힘, 과제를 얼마나 진행했는지도 측정한다. 학습 조건에 따라 행동이 어떻게 달라지는지 보기 위해서다.

훈련하지 않은 위치에서도 잘 움직일까

초기 실험에서는 많이 학습한 모델도 낯선 공간 조건에 약한 모습을 보였다. 연구진은 ManiFlow, π0.5, MolmoAct 2를 대상으로 학습 범위 안의 새 배치와 범위 밖의 배치를 나눠 시험했다. 탁자 왼쪽에서 훈련하고 오른쪽에서 평가하거나, 블록 2개와 5개 쌓기를 학습한 뒤 3개와 4개를 쌓게 하는 식이다. 연구진은 이들 모델이 새로운 조건에 대응하는 능력은 낮았다고 설명했다. 이를 개선하는 학습 기법들의 효과도 함께 분석했다.

이미지: huggingface.co

여러 단계를 거치는 과제에서는 계획과 움직임을 나눠 평가한다. 블록으로 ‘Ai2’를 쌓으려면 숨은 글자를 찾고 쌓는 순서를 정해야 한다. 실험에서는 Molmo 2가 블록과 동작을 고르고 ManiFlow가 로봇팔을 움직였다. 올바른 계획이나 동작을 대신 수행하는 기준 구성 요소와 비교하면, 실패가 판단에서 나왔는지 실행에서 나왔는지 구분할 수 있다.

로봇 전문가가 아니어도 웹 화면에 Claude 같은 모델을 연결해 일상 언어로 과제를 지시할 수 있다. 연구진은 Claude Opus 5.5가 카메라 영상을 보고 도구를 불러 블록을 찾고 배열하는 실험도 소개했다. 연구진은 가상 환경에서 학습한 모델을 실제 로봇으로 옮겨 시험하는 실험도 함께 진행했다. 실제 로봇에서도 비슷한 수준의 성공률을 확인했지만, 과제 전반에 걸쳐 확신을 얻으려면 더 많은 실험이 필요하다고 설명했다.