리처드 서튼 “계산량만 늘려선 부족”…경험으로 배우는 AI 제안

튜링상 수상자 리처드 서튼이 AI의 계산량만 늘려서는 지능에 이르기 어렵다고 주장했다. 더 디코더는 11월 8일(현지시간) 서튼이 최근 X에 올린 게시물을 전했다. 서튼은 2025년 9월 26일 공개된 인터뷰에서도 비슷한 문제를 제기했다. 서튼이 던진 질문은 하나다. AI는 무엇을 바탕으로 배워야 하는가.

모델을 키우는 것만으로 충분할까

서튼은 지금의 대규모 언어 모델(LLM)이 사람이 남긴 글과 행동에 의존해 배운다는 점을 짚었다. 그는 AI가 실제 환경에서 직접 행동하고 그 결과를 확인하며 계속 배우는 방식이 더 크게 발전할 수 있다고 주장했다. 계산을 더 많이 하는 데 그치지 말고 학습 방법 자체를 바꿔야 한다는 뜻이다.

이 주장은 서튼이 2019년 집필한 「The Bitter Lesson」과 이어진다. 그는 이 글에서 늘어나는 계산량을 그대로 활용할 수 있는 범용 검색과 학습 방법이 중요하다고 논했다. 그는 앞선 인터뷰에서 계산량을 많이 쓰는 LLM도 결국 사람이 만든 데이터에 기대고 있다고 지적했다. LLM이 그 원칙을 끝까지 구현한 사례인지는 아직 답이 열려 있다는 설명이다.

행동의 결과로 배우는 AI

서튼이 내놓은 대안의 중심에는 스스로 일을 처리하는 AI(에이전트)가 있다. 이 AI는 목표를 정해 행동한 뒤, 관찰한 결과와 보상을 보고 예측과 다음 행동을 고친다. 사람의 글과 행동만 학습하는 데서 나아가, 자신이 한 일의 결과까지 학습에 반영하는 방식이다.

긴 목표를 향해 움직이는 동안 어떻게 배울지도 문제다. 서튼은 중간 단계에서도 학습 신호를 얻는 방법으로 ‘시간차 학습’을 설명했다. 최종 결과가 나올 때까지 기다리지 않고, 진행 중에 얻은 정보로 예측을 바로 수정하는 방식이다. 그가 강조한 변화는 모델의 크기가 아니라 경험을 쌓고 쓰는 과정에 있다.

지금 쓰는 챗봇은 어떻게 되나

인터뷰 진행자는 LLM을 출발점으로 삼을 수 있다고 반론했다. 이미 글을 학습한 언어 모델에 경험으로 배우는 방식을 더하면 된다는 것이다. 논쟁은 LLM을 계속 키울지에만 머물지 않는다. 사람이 만든 데이터로 익힌 능력과 실제 행동에서 얻은 학습을 어떻게 합칠지가 함께 쟁점이 된다.

이용자 입장에서 핵심은 AI가 작업 결과를 다음 행동에 반영하며 계속 배울 수 있느냐다. 서튼은 경험으로 배우는 방식이 더 멀리 갈 수 있다고 강조했고, 진행자는 LLM과 결합하는 길을 제시했다. 앞으로 볼 점은 두 접근이 실제 시스템에서 어떻게 구현되고, 계속 배우는 능력이 어떤 성능으로 이어지는지다.