오픈AI, COBOL 같은 옛 언어 코딩 성능 개선... 통과율 87.4%

오픈AI가 10월 19일(현지시간) COBOL과 Fortran, Visual Basic처럼 학습에 쓸 코드와 문서가 적은 프로그래밍 언어에서 모델의 개발 실력이 좋아졌다고 발표했다. 함께 공개한 성능 시험은 두 가지다. 하나는 새 프로그램을 만드는 능력, 다른 하나는 기존 프로그램을 다른 언어로 옮기는 능력을 본다.

20개 언어로 만들기, 얼마나 통과했나

새 시험인 MultiLangBench는 20개 언어로 데이터베이스 엔진을 처음부터 만드는 과제다. 데이터를 저장하고 찾아주는 프로그램을 만들되, 널리 쓰이는 데이터베이스 SQLite와 호환되게 해야 한다. 오픈AI는 이 시험으로 언어별 개발 능력을 재 봤다.

오픈AI에 따르면 GPT-6 Astra는 문제 풀이에 들이는 노력을 최대로 설정했을 때 평균 테스트 통과율 87.4%를 기록했다. GPT-5.6 Sol의 26.8%보다 60.6%포인트 높다. Astra는 20개 언어 중 19개에서 통과율 83%를 넘겼다. 가장 어려웠던 COBOL에서는 72.1%였다. 회사는 시험 구성과 테스트, 언어별 결과를 GitHub에 공개한다고 밝혔다.

같은 시험에서 GPT-6 Luna는 비용을 낮추면서도 GPT-5.6 Sol보다 높은 통과율을 냈다고 회사는 설명했다. Luna의 최대 노력 설정 기준 평균 통과율은 40.3%다. 시험 문제 한 건을 푸는 데 든 평균 비용은 0.77달러로 추정됐다. GPT-5.6 Sol의 추정 비용 3.48달러보다 약 78% 적다. 개발자가 서비스에 모델을 붙여 쓰는 방식(API)으로 시험을 돌렸을 때의 비용이다.

COBOL을 다른 언어로 옮기면 정확도는

두 번째 시험은 기존 COBOL 프로그램을 다른 언어로 바꾸는 과제다. 옮긴 뒤에도 원래 프로그램과 똑같이 작동해야 한다. 대상 언어는 C++, Java, Kotlin, Python, Rust다. 코드를 새로 쓰는 능력뿐 아니라 기존 기능을 그대로 지키며 옮기는지를 봤다.

오픈AI는 GPT-6.1 Sol이 노력을 낮게 설정한 상태에서도 정확도 86.6%를 기록했다고 밝혔다. 같은 설정의 GPT-5.6 Sol은 5.4%였다. GPT-6.1 Sol의 API 비용은 비교 모델보다 39% 적었다. 문제 풀이에 더 많은 노력을 들이도록 설정하자 정확도는 97.9%까지 올랐다고 회사는 설명했다.

실제 업무에 쓸 때 볼 점은

개발자는 API로 이 모델들을 불러 해당 언어의 코딩 작업을 맡겨 볼 수 있다. 중요한 건 옮긴 프로그램이 기존 동작을 제대로 유지하는지다. 오픈AI는 운영 중인 소프트웨어를 옮길 때 전문가 검토가 필요하다고 명시했다. 업무 규칙과 거기에 연결된 다른 프로그램까지 포함한 테스트도 필요하다고 강조했다.

학습 자료가 적은 옛 언어에서도 AI가 프로그램을 만들고 옮기는 실력이 올라갔다는 점이 이번 발표의 핵심이다.