강화학습으로 키운 AI, 행동 횟수 줄이면 우위 줄었다

여러 단계에 걸쳐 일을 처리하는 AI를 강화학습으로 가르친 효과가 허용된 행동 횟수에 따라 달라진다는 연구가 11월 4일 공개됐다. 연구진은 지금까지의 학습 방식이 낸 성능 향상이 넉넉한 행동 횟수에 기대고 있다고 밝혔다. 횟수 제한을 바꿔가며 가르치는 ‘BudgetMix RL’도 함께 내놓았다.

판단 하나하나도 좋아졌을까

스스로 일을 처리하는 AI(에이전트)는 여러 행동을 이어가며 과제를 해결한다. 강화학습은 과제를 잘 끝냈을 때 보상을 주며 모델을 가르치는 방식이다. 지금까지는 행동 횟수 상한을 하나로 정해 놓고 학습시킨 뒤, 마지막에 과제를 성공했는지만 주로 따졌다. 이번 연구는 성공 여부와 함께 행동 하나하나의 질을 따로 살폈다.

연구진은 다시 시도할 수 있는 횟수와 한 번의 시도에서 허용하는 행동 횟수를 함께 바꿨다. 그 결과 행동 횟수를 줄일수록 강화학습으로 가르친 모델의 과제 완료율 우위가 작아졌다. 일부 과제에서는 순위가 뒤집혔다. 여러 번 움직일 여유가 있을 때 나온 성능이 횟수가 빡빡한 조건에서는 그대로 이어지지 않았다.

강점은 매 순간의 선택보다 실수를 되돌리는 대목에서 뚜렷했다. 같은 상황에서 양쪽 모델의 다음 행동을 비교했을 때, 강화학습 모델의 행동 품질이 더 높았던 상황의 비율은 DeepCoder-MT에서 46.8%, FrozenLake에서 42.8%였다. 실수를 한 직후 상황만 보면 각각 67.3%, 65.7%로 높아졌다. 연구진은 시험한 모델과 과제에서 강화학습이 판단의 질을 고르게 끌어올리지는 않았다고 설명했다.

행동 횟수를 바꿔 학습하면 달라질까

BudgetMix RL은 학습할 때부터 허용하는 행동 횟수를 조건마다 달리한다. 모델에는 전체 허용 횟수와 남은 횟수를 알려준다. 정해진 횟수 안에 과제를 끝내지 못하면 보상은 0이다. 늘 같은 상한으로 연습하는 대신, 주어진 횟수 안에 일을 마치는 조건을 학습에 넣은 것이다.

횟수 제한이 빡빡할수록 기존 방식과의 차이가 컸다. Qwen3-4B와 Qwen3-8B로 네 가지 과제를 시험한 결과, 상한의 25%만 허용했을 때 BudgetMix의 성공률은 고정 횟수로 가르친 경우보다 평균 7.5%포인트 높았다. 50%와 75%를 허용한 조건에서는 각각 5.3%포인트, 4.0%포인트 높았다. 상한을 다 쓸 수 있을 때는 두 방식이 대체로 비슷했다.

지금 직접 써볼 수 있을까

개발자는 공개된 코드로 연구 방법과 진단 도구를 살펴볼 수 있다. 공식 저장소에 따르면 코드와 튜토리얼은 10월 30일부터 공개됐고, 누구나 가져다 쓸 수 있는 MIT 라이선스가 붙었다.

실험을 그대로 다시 돌려보기에는 빠진 것이 있다. 저장소에 올라온 예제는 논문의 수치를 다시 확인하는 실험이 아니라고 저장소 측은 밝혔다. 학습을 마친 모델, 공개하지 않은 성능 시험 자료, 원본 실행 기록과 전체 실험 결과도 들어 있지 않다. 논문은 실제 업무에서 각 단계의 행동을 정확히 채점할 신호를 얻기 어렵다는 한계도 짚었다.

이 연구는 AI 업무 도구를 고를 때 ‘몇 번의 행동 안에 일을 끝냈는가’를 함께 보라고 말한다. 최종 성공률만으로는 드러나지 않던 차이가 행동 횟수 제한과 실수 복구 능력에서 드러났기 때문이다. 실제 업무와 한국어 과제에서도 제한된 횟수 안에 성공하는 효과가 이어지는지는 더 확인해 볼 대목이다.