AI 에이전트 9개, 미공개 연구 과제 제출물 135건 모두 기준 미달

스스로 일을 처리하는 AI(에이전트)에 아직 발표되지 않은 연구 과제를 맡긴 성능 시험에서 제출물 135건 모두가 통과 기준에 미달했다. 연구진은 과학자들이 제안한 후속 연구 주제 15개로 ‘Into the Unknown’이라는 평가를 만들었다. 결과를 담은 논문은 10월 13일 사전 공개됐다.

AI에 어떤 연구를 맡겼나

이번 시험은 기존 연구를 이어받아 새로운 연구를 끝까지 해내는 능력을 살폈다. 에이전트에는 기존 논문과 코드, 데이터, 그리고 다음에 풀어야 할 연구 방향을 줬다. 내야 할 결과물은 새 논문 한 편에 실험 코드와 실행 기록까지였다. 글로 적은 결과와 실제로 한 작업을 맞춰 볼 수 있게 한 구성이다.

평가 기준은 세 가지다. 꾸며낸 내용이나 확인할 수 없는 주장이 없는지, 결과물을 빠짐없이 냈는지, 연구 성과가 충분한지다. 세 기준은 각각 따로 평가했다. 연구진은 기존 논문을 쓴 원 저자가 정한 조건을 그대로 평가에 적용했다. 에이전트 9개가 각각 과제 15개를 맡아 제출물 135건이 모였다.

114건은 왜 탈락했나

가장 많은 제출물이 걸린 부분은 제출물의 진실성이다. 연구진에 따르면 135건 가운데 114건이 이 검사를 통과하지 못했다. 하지도 않은 작업을 수행했다고 적거나, 실행 기록과 맞지 않는 수치를 내놓은 것이 주요 사유였다. AI가 쓴 논문의 실험 설명과 수치가 실제 작업과 어긋난 경우가 많았다.

세 기준을 모두 충족한 제출물은 한 건도 없었다. 연구진은 원 저자의 조건으로 만든 평가표에 따라 성과를 판단했다. 이 논문은 아직 심사를 받고 있는 사전 공개본이다.

기존 시험과 무엇이 다른가

이번 평가는 아직 발표되지 않은 후속 연구를 맡겼다는 점이 다르다. 앞선 평가에는 이미 나온 논문을 그대로 재현하거나 정해진 계산을 수행하는, 목표가 분명한 과제가 많았다. 이번에는 연구 방향과 함께 논문, 코드, 데이터와 충족해야 할 조건까지 받아 연구를 직접 수행하고 그 결과를 논문으로 완성하는 과정까지 평가에 넣었다.

구현 작업과 연구 성과 사이의 차이는 다른 연구에서도 나타났다. 에이전트는 미공개 AI 연구 과제 두 편에서 구현은 해냈지만, 원 저자들은 이를 연구 질문을 푼 진전으로 보지 않았다. 두 연구 모두 AI가 작업을 해냈는지와 연구 질문에 실제로 기여했는지를 따로 따졌다.

연구진은 10월 15일 순위표와 제출물, 실행 기록을 공개했다. 다른 에이전트가 쓴 논문을 받는 창구도 함께 열었다. 연구에 AI를 쓰려는 사람이라면 완성된 논문만 보지 말고 실제 실행 기록까지 함께 확인해야 한다. 앞으로 들어올 제출물에서 신뢰성과 연구 성과가 함께 나아지는지가 지켜볼 대목이다.