코딩 AI, 실제 수정 요청 다 끝낸 건 26.4%뿐
푸단대와 알리바바 등 공동 연구진이 이미 만든 웹앱을 고치는 능력을 재는 Co-Design Bench를 공개했다. 모델 10개 중 가장 잘한 GPT-6 Astra도 요구를 모두 충족한 과제는 4개 중 1개 수준이었다.
2026년 11월 11일 수요일
푸단대와 알리바바 등 공동 연구진이 이미 만든 웹앱을 고치는 능력을 재는 Co-Design Bench를 공개했다. 모델 10개 중 가장 잘한 GPT-6 Astra도 요구를 모두 충족한 과제는 4개 중 1개 수준이었다.
같은 모델에 다른 실행 틀을 붙여 비교한 연구에서 Claude Code와 mini-SWE-agent의 해결률은 사실상 같았다. 비용 차이는 매번 다시 보내는 지시문 길이와 거친 단계 수에서 주로 생겼다.