알리바바 Waypoint-OPD, 학습 중간까지 보고 수학과 코드 점수 높였다

알리바바 클라우드 연구진이 10월 15일 새 AI 학습 방법인 Waypoint-OPD를 논문과 코드로 공개했다. 답을 잘 내면 점수를 주는 방식으로 실력을 키우는 강화학습의 결과물을 다른 모델에 옮겨 주는 기술이다. 가르치는 쪽을 ‘교사 모델’, 배우는 쪽을 ‘학생 모델’이라고 부른다. Waypoint-OPD는 교사가 학습하는 동안 어떻게 바뀌었는지까지 들여다보고, 학생에게 넘길 정보의 비중을 조절한다.

교사의 학습 중간을 왜 들여다볼까

기존 방식인 Direct-OPD는 교사의 강화학습 전과 후만 비교했다. 학생이 써낸 답변을 놓고, 교사가 어떤 표현을 더 선호하게 됐는지 살피는 방식이다. 하지만 시작과 끝만 보면 중간에 선호가 뒤집혔는지 알 수 없다. 학습 초기의 변화와 후기의 변화가 서로 힘을 보탰는지, 아니면 일부를 깎아먹었는지 구별하기 어렵다는 것이 연구진의 문제의식이다.

Waypoint-OPD는 교사의 학습 중간 상태를 비교 대상으로 하나 더 넣었다. 학생이 써낸 답변을 놓고 교사의 학습 전, 중간, 후 세 상태를 함께 비교한다. 초기와 후기의 선호가 같은 방향으로 바뀌었다면 최종 변화에 더 큰 비중을 두고, 반대 방향이면 비중을 줄인다. 대신 기존 방식보다 교사 모델의 점수를 한 번 더 계산해야 한다.

수학과 코드 점수는 얼마나 올랐나

연구진은 크기가 다른 Qwen3 학생 모델 세 개로 수학과 코드 문제 풀이 실력을 재봤다. 수학 성능 시험 7개의 평균에서 Waypoint-OPD가 Direct-OPD보다 높은 점수를 받았다. 개선 폭은 Qwen3-8B에서 2.18%포인트, Qwen3-14B에서 1.59%포인트, Qwen3-30B-A3B에서 1.89%포인트였다.

코드 성능 시험 5개의 평균에서도 같은 순서로 2.66%포인트, 1.52%포인트, 1.19%포인트 높았다. 연구진에 따르면 두 분야와 세 모델을 조합한 여섯 경우 모두에서 비교 대상 학습법 가운데 평균 점수가 가장 높았다. 다만 개별 시험에서는 다른 학습법이 앞선 경우도 있었다. 실험은 Qwen3 계열 모델의 수학과 코드 문제 풀이에 한정됐다.

지금 누가 써볼 수 있나

모델을 직접 학습시키는 연구자와 개발자가 쓸 수 있는 논문과 코드다. 누구나 열람할 수 있지만, 이미 학습을 마친 모델 파일은 들어 있지 않다. 실제로 돌려 보려면 모델과 학습 환경을 직접 준비해야 한다.

실행 환경으로는 엔비디아 GPU를 쓰는 리눅스 환경을 안내한다. 설치에 필요한 프로그램 목록은 연구진이 쓰던 우분투와 CUDA 환경에 맞춰져 있다. 연구진은 새로 꾸린 환경에서의 설치는 검증하지 않았다고 밝혔다.

Waypoint-OPD는 학습의 최종 결과만 보지 않고 중간 변화의 방향까지 학생 모델 훈련에 쓴 방법이다. 연구진은 이 방식으로 수학과 코드 성능 시험의 평균 점수를 높였다고 밝혔다. 남은 숙제는 Qwen3 아닌 모델에서도 같은 효과가 나올지다. 한국 이용자에게 중요한 한국어 작업 성능도 아직 확인되지 않았다.