코딩 AI, 실제 수정 요청 다 끝낸 건 26.4%뿐

푸단대와 알리바바 그룹 등 공동 연구진이 10월 26일 코딩 AI 평가 도구 Co-Design Bench 논문을 공개했다. 이미 만들어진 웹앱을 사용자 요청에 맞게 고치는 능력을 시험하는 도구다. 같은 환경에서 모델 10개를 평가한 결과, 가장 잘한 GPT-6 Astra도 과제를 완전히 끝낸 비율은 26.4%였다.

실제 요청, 얼마나 끝냈나

이번 시험은 실제 사용 과정에서 AI가 어려움을 겪었던 요청을 모아 만들었다. 연구진은 코딩 세션 2만6314건의 요청에서 과제 273개를 뽑았다. 이미지, 음성, 영상, 문서가 들어갈 수 있는 부분 수정이 100개, 여러 구성 요소를 한꺼번에 고치는 프로젝트 수정이 173개다.

채점은 두 가지를 함께 봤다. 요구 사항을 하나씩 충족했는지, 그리고 과제 전체를 끝냈는지다. 전문가가 만든 판정 기준 2331개를 코드와 실행 화면으로 검사했고, 통과 판정과 부분 충족 판정은 별도의 AI 검증기로 다시 확인했다. GPT-6 Astra는 과제별 기준을 평균 69.9% 충족했지만, 모든 기준을 만족한 과제는 26.4%뿐이었다.

과제 4개 중 3개에는 처리하지 못한 요구가 남았다는 뜻이다. 사용자가 여러 변경을 한꺼번에 맡겼을 때, 일부 요구를 해결하는 성적과 요청 전체를 끝내는 성적은 크게 벌어졌다.

기존 시험에선 99.4%, 왜 다를까

기존 평가에서 일부 모델은 훨씬 높은 점수를 받았다. 연구진이 WebCompass-edit 과제 150개를 스스로 일을 처리하는 AI(에이전트) 방식으로 풀게 한 비교 시험에서는 기능별 채점 점수의 평균이 95.1%와 99.4%로 나왔다.

두 시험은 과제와 채점 방식이 다르다. 기존 시험의 높은 점수는 기능별로 하나씩 본 결과이고, Co-Design Bench는 실제 사용자 세션에서 나온 복합 수정 요청을 다룬다. 또 개별 기준의 충족률과 요청 전체의 완수율을 따로 내놓는다. 코딩 AI에 업무를 맡기려는 사람에게는 개별 기능이 잘 돌아가는지와 요청한 변경을 다 끝내는지가 각각 필요한 정보다.

직접 돌려볼 수 있을까

평가 코드와 예제는 공개됐지만, 공개된 과제는 논문에서 쓴 273개보다 적다. 부분 수정 과제만 들어가며, 여러 구성 요소를 한꺼번에 고치는 프로젝트 수정 과제는 빠졌다. 평가를 돌리려면 별도의 도구와 환경도 갖춰야 한다.

코딩 AI를 고를 때는 점수뿐 아니라 요청을 끝까지 처리했는지도 봐야 한다는 점이 이번 결과의 핵심이다. 업무에 도입하려는 이용자라면 자신이 자주 하는 수정 요청과 비슷한 시험인지가 중요한 비교 기준이 된다. 앞으로 볼 점은 공개된 일부 과제의 결과가 전체 평가와 얼마나 맞아떨어지는지, 한국어 요청에서도 비슷한 완수율이 나오는지다.