긴 글 속 변화 따라가기 시험, 주요 AI 정답률 13% 이하

긴 글에서 정보가 바뀌는 과정을 AI가 얼마나 잘 따라가는지 재는 성능 시험 StateBench가 11월 3일 공개됐다. 연구진은 Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol과 Luna를 시험했다. 네 모델 모두 가장 어려운 유형에서 입력이 가장 길어지자 정답률이 13% 이하로 떨어졌다고 연구진은 밝혔다.

마지막 기록만 찾으면 될까

StateBench는 글 속 대상이 지금 어떤 상태인지 알아내는 능력을 본다. 소설에서 물건의 주인이 바뀌거나 코드에서 값이 여러 번 수정될 때 필요한 능력이다. 마지막 기록만 찾으면 풀리는 문제도 있고, 앞선 변화를 빠짐없이 따라가야 답이 나오는 문제도 있다.

시험은 변화가 얼마나 복잡한지에 따라 네 단계로 나뉜다. 처음 정한 값을 찾는 단계, 가장 최근에 바뀐 값을 찾는 단계, 기존 값에 변화를 계속 더하는 단계, 다른 대상의 현재 값까지 따라가는 단계다. 가장 어려운 단계는 컵 다섯 개의 위치를 거듭 바꾼 뒤 공이 든 컵을 찾는 상황과 비슷하다. 연구진은 단계끼리 비교할 수 있도록 대상과 값의 개수, 변경 위치는 같게 두고 변경 방식만 달리했다.

글이 길어지면 어디서 틀리나

네 모델은 한 번 정해진 값이나 가장 최근에 지정된 값을 찾는 문제에서는 좋은 성적을 냈다. 반면 변화를 계속 쌓아 가거나 대상 사이의 관계를 따라가야 하는 문제에서는 입력이 길어질수록 정확도가 크게 떨어졌다. 연구진은 어려운 단계일수록 최종 답에 영향을 주는 과정이 많아, 중간 변화를 하나만 놓쳐도 오답으로 이어지기 쉽다는 점을 유력한 요인 하나로 꼽았다.

출처: 구글 (보도자료)

따로 시험한 공개 모델들은 문제를 보여 주는 형식에도 흔들렸다. 크기가 작은 일부 모델은 같은 고정값 찾기 문제라도 어떤 형식에서는 거의 만점을 받았다. 그러나 같은 문제를 스프레드시트 수정 기록으로 제시하자 아무렇게나 답을 고르는 수준에 머물렀다. 연구진은 이런 차이를 보려고 같은 문제를 여러 형식으로 만들었다고 설명했다.

학습시키면 풀 수 있을까

연구진은 학습의 영향과 모델 구조의 영향을 갈라 보려고 여섯 모델을 StateBench 문제로 처음부터 학습시켰다. 학습할 때는 값을 정하는 과정을 최대 256번까지 보여 주고, 시험에서는 그 250배인 최대 6만4000번까지 늘렸다. 비교 대상에는 널리 쓰이는 트랜스포머 구조와, 기억을 계속 갱신하는 Gated DeltaNet 구조, 두 방식을 섞은 구조가 들어갔다.

출처: 구글 (보도자료)

이 실험에서 Gated DeltaNet과 혼합 구조 모델은 앞의 세 단계에서 가장 긴 입력까지 거의 완벽한 성적을 유지했다. 가장 어려운 단계에서는 기억을 더 유연하게 갱신하는 Gated DeltaNet 모델이 학습 길이의 약 10배까지 거의 완벽하게 답했다. 반면 트랜스포머는 쉬운 단계에서도 입력이 길어지면 성적이 나빠졌고, 가장 어려운 단계는 직접 학습해도 풀지 못했다고 연구진은 밝혔다.

결과를 보면 글 속에서 정보를 찾아내는 능력과 여러 변화를 끝까지 따라가는 능력은 별개다. 다만 StateBench는 따라가야 할 대상의 수가 처음부터 고정된 상황만 다룬다. 긴 대화 도중 새로운 사람이나 물건이 등장하는 상황은 지금 평가 범위에 들어가지 않는다고 연구진은 설명했다. 일상과 업무는 그런 조건에 더 가깝다. 이런 상황에서도 AI가 변화를 끝까지 따라갈 수 있는지가 앞으로 확인할 과제다.