마이크로소프트, 모의 학생으로 AI 튜터 가르쳐 정확도 90.5%

마이크로소프트 리서치가 10월 12일(현지시간) AI 튜터를 평가하는 연구 시스템 StudentSim을 소개했다. 학생이 어떤 답을 내고, 설명을 들은 뒤 답을 어떻게 바꾸는지 그대로 따라 하는 방식이다. 체스, 제2언어로 배우는 영어 글쓰기, 수학 세 과목에서 이를 재보는 성능 시험 StudentSimEval도 함께 내놓았다.

StudentSim은 실제 학습자를 만나기 전, 개발 단계에서 쓰는 연구 도구다. 연구진은 학생에게 직접 반응을 받는 실험에 시간과 비용이 많이 든다는 문제에서 출발했다고 설명했다. 그래서 개발 중에 여러 지도 방식을 빠르게 견줘 보기 어려웠다는 것이다.

AI에게 학생 역할만 맡기면 왜 부족할까

AI에게 “학생처럼 답해 보라"고 지시하는 것만으로는 실제 학습 수준을 재현하기 어렵다는 것이 연구진의 설명이다. 어린 학생처럼 말하면서도, 정작 답은 그 수준을 넘는 지식으로 내놓을 수 있기 때문이다. 이렇게 모의 학생이 지나치게 유능하면 튜터의 설명이 실제보다 효과적인 것처럼 보인다. 학습 기록을 분석하는 기존 모델은 학생의 상태를 예측하기는 하지만, 말로 된 설명에 학생이 어떻게 반응할지는 다루기 어렵다고 연구진은 덧붙였다.

StudentSim은 두 가지를 함께 본다. 먼저 학습에 쓰지 않은 문제에서 특정 학생이 실제로 적은 답을 얼마나 비슷하게 재현하는지 확인한다. 이어 튜터의 안내를 읽은 뒤 그 답이 어떻게 바뀌는지 살핀다. 학생의 평소 실력과 실수뿐 아니라, 도움을 받았을 때의 변화까지 재보려는 설계다.

학생마다 다른 점은 어떻게 담나

학습은 두 단계로 나뉜다. 먼저 같은 과목을 배우는 여러 학생의 기록에서 흔한 답변 형태와 오류, 설명을 듣고 답을 고치는 양상을 익힌다. 그다음 한 학생의 기록으로 추가 학습해 그 학생에 맞춘 모의 학습자를 만든다. 연구진은 연구용으로 공개된 기록만 썼고, 누구인지 알 수 있는 정보는 어느 단계에서도 쓰지 않았다고 밝혔다.

이미지: Microsoft Research

과목마다 따라 하는 반응은 다르다. 체스에서는 학생이 둘 다음 수와, 지도를 받은 뒤 바꿀 수를 예측한다. 영어 글쓰기에서는 학생 특유의 오류가 담긴 글과 피드백 이후의 수정을 다룬다. 수학에서는 객관식 답과 설명을 들은 뒤의 답변 변화를 예측한다. 비교 모델에도 학생별로 같은 학습 기록과 평가 기록을 적용했다.

모의 학생으로 가르친 튜터, 더 나아졌나

연구진은 세 과목 모두에서 StudentSim이 주요 비교 모델보다 좋은 결과를 냈다고 밝혔다. 점수가 높을수록 실제 학생의 답에 가깝다는 뜻이다. 체스에서 학생의 기존 응답을 재현한 점수는 StudentSim이 0.5150, GPT-5.4가 0.2316이었다. 안내를 받은 뒤의 반응을 재현한 점수는 각각 0.9067과 0.7186이었다. 사람의 체스 수를 예측하는 Maia2는 같은 순서로 0.4535와 0.2721이었다.

이미지: Microsoft Research

모의 학생의 반응으로 체스 튜터를 가르치는 실험도 했다. 튜터의 설명을 읽은 모의 학생이 이전보다 좋은 수를 내면 튜터에게 보상을 주는 방식이다. 체스 전문가들이 어떤 방식으로 학습한 튜터인지 모른 채 채점한 결과, StudentSim으로 가르친 튜터의 정확도는 90.5%였다. 같은 보상 학습을 하지 않은 튜터는 75.7%, GPT-5.4를 모의 학생으로 쓴 튜터는 71.6%였다. StudentSim으로 가르친 튜터는 지도 품질과 개인 맞춤 항목에서도 더 높은 점수를 받았다.

논문과 학습, 평가에 쓴 코드는 공개돼 있다. 연구진은 실제 학습 효과와 안전성, 사용 편의성, 교실 적합성을 판단하려면 사람을 대상으로 한 연구가 여전히 필요하다고 강조했다. 앞으로 지켜볼 지점은 모의 학생에게 효과가 있던 설명이 실제 학생의 성적으로도 이어지는지다.