코딩 AI 실행 틀 바꾸면 비용 최대 3배, 성능은 비슷

코딩 AI의 실행 틀을 바꾸면 문제 해결률과 비용이 얼마나 달라질까. 산둥대 연구자 Yangze Liu와 Zhongyi Han이 두 요소를 비교한 논문을 10월 3일 공개했다. 같은 모델을 쓰더라도 과제 하나를 맡겼을 때 드는 비용은 최대 3배 차이가 났다. 반면 과제 447개를 푼 실험에서는 Claude Code와 mini-SWE-agent의 해결률 차이가 거기서 돌린 두 모델 모두 5%포인트 이내였다. 연구진은 두 도구의 성능이 사실상 같은 수준이라고 밝혔다.

같은 모델에 다른 틀, 무엇을 비교했나

연구진이 비교한 것은 모델이 아니라 모델을 감싸고 일을 시키는 실행 틀이다. 스스로 코딩 일을 처리하는 AI(에이전트)에게 주는 기본 지시문, 쓸 수 있는 도구 목록, 주고받은 대화를 관리하는 방식 등이 여기에 들어간다. 연구진은 Claude Code, mini-SWE-agent, OpenCode에 같은 모델을 연결했다. 시험 문제로는 실제 코딩 과제 해결 능력을 재는 SWE-bench Verified를 썼다.

비교 기준에는 같은 설정을 그대로 다시 돌렸을 때 생기는 점수 차이도 넣었다. 실행 틀을 바꾼 효과와 그냥 다시 돌려서 생긴 변동을 가려내기 위해서다. 어려운 과제 45개에서는 실행 틀을 바꿨을 때와 같은 설정을 다시 돌렸을 때 모두 과제별 성공과 실패가 뒤집힌 비율이 중간값 13%로 같았다. 연구진은 작은 점수 차이만으로 개선 효과를 판단하기 어렵다고 설명했다.

해결률 차이는 얼마나 났을까

어려운 과제 45개를 뺀 나머지 과제 447개에서는 Claude Code와 mini-SWE-agent가 비슷한 해결률을 보였다. OpenCode는 최대 9%포인트 뒤졌다. 한 모델에서는 그 격차의 약 절반이 정해진 출력 한도에 걸려 중간에 멈춘 실행에 몰려 있었다. 모델의 능력만이 아니라 작업을 어디까지 이어가게 설정했는지도 결과를 갈랐다.

시험에 넣는 과제 수도 결과를 읽는 데 중요했다. 연구진의 분석에 따르면 과제 45개로는 실제 해결률 차이가 13%포인트인 경우에도 이를 잡아낼 확률이 절반 정도였다. 과제 447개에서는 5%포인트 수준의 차이까지 가려낼 수 있었다. 코딩 도구를 고를 때 몇 건의 성공 사례나 작은 점수 차이만 보고 판단하기 어렵다는 뜻이다.

비용은 왜 3배까지 벌어졌나

연구진은 비용을 비교할 때 모델과 과제, 적용 가격표를 똑같이 맞췄다. 그래도 과제 하나당 비용은 실행 틀에 따라 최대 3배 차이가 났다. 원인으로는 매 단계마다 모델에 다시 보내는 기본 지시문과 도구 설명의 길이, 그리고 작업을 끝내기까지 거친 단계 수를 꼽았다. 긴 안내를 반복해 보내거나 단계를 더 많이 밟으면 비용이 불어나는 구조다.

코딩 AI를 업무에 쓰는 이용자가 따져볼 항목도 여기서 나온다. 같은 모델을 쓴다고 도구별 비용이 같지는 않다. 해결률과 작업 하나당 비용을 함께 봐야 한다.

공개 저장소에는 8,032회 실행을 기록한 데이터 표와 분석 코드가 담겼다. 다만 전체 실행 기록 일부와 실험 환경 자료가 빠져 모든 실행을 그대로 재현하기는 어렵다. 다른 모델과 실제 업무에서도 이런 해결률과 비용 차이가 이어질지가 다음 확인 대상이다.