오픈AI, 계약 업무 맡긴 AI 시험 결과 공개... Astra 55.0%
연구 과제 11개에서 GPT-6 Astra의 평균 점수는 55.0%로 GPT-5.6 Sol보다 13.4%포인트 높았다. 계약 설정과 승인 절차를 맡겼고, 복잡한 업무에는 사람의 감독이 필요하다고 설명했다.
오픈AI가 10월 6일(현지시간) 계약 업무 소프트웨어 기업 Ironclad와 연구 협력을 발표했다. 두 회사는 계약 설정과 승인 절차 구성, 재사용할 법률 조항을 다루는 작업으로 스스로 일을 처리하는 AI(에이전트)를 훈련하고 평가했다. 오픈AI가 이 작업으로 훈련한 첫 최상위 모델은 GPT-6 Astra다.
계약 업무, 어디까지 맡겼나
연구는 계약 업무를 이루는 여러 단계의 작업을 대상으로 했다. 비밀유지계약 설정, 구매 승인 절차 구성, 선택한 관할 지역에 맞춘 법률 조항 수정 등이 포함됐다. 계약서 문장을 쓰는 일에 더해, 계약을 처리할 소프트웨어의 설정과 절차까지 맡긴 것이다.
평가 대상은 연구 과제 11개였다. 과제마다 850개의 평가 기준을 두고 수행 결과를 살폈다. 오픈AI는 숙련된 사용자도 과제 하나를 끝내는 데 평균 3040분이 걸릴 것으로 추정했다.
Astra 55.0%, Sol보다 얼마나 나았나
GPT-6 Astra의 평균 평가 점수는 55.0%였다. GPT-5.6 Sol은 41.6%로, 차이는 13.4%포인트였다. 다만 비교할 때 Astra에는 Max 설정을, Sol에는 High 설정을 적용해 두 모델이 답을 만드는 조건이 서로 달랐다.
시도 한 번에 걸리는 평균 시간도 Astra가 짧았다. Astra는 19.2분, Sol은 37.0분이었다. 이 시간은 모델의 처리 속도와 답을 만드는 속도를 가정해 계산한 시뮬레이션 값이다.
개별 과제에서는 평균보다 높은 점수도 나왔다. Astra는 추정 20분 만에 평가 기준의 약 94%를 충족했고, Sol은 추정 32분에 약 85%를 충족했다. Astra 개발 과정에 쓴 내부 모델은 같은 11개 과제에서 63.7%를 기록했다.
그래서 바로 쓸 수 있을까
오픈AI는 복잡한 계약 업무에는 여전히 사람의 감독이 필요하다고 설명했다. 어떤 데이터로 훈련하고 평가했는지도 함께 밝혔다. 오픈AI 고객 데이터와 오픈AI 내부 계약서는 쓰지 않았고, 비공개 Ironclad 고객 데이터와 계약서도 사용하지 않았다는 설명이다.
오픈AI는 비슷한 연구에 참여할 소프트웨어 기업을 소수 모집한다고 밝혔다. 이번 협력은 AI에게 계약 문서 작성뿐 아니라 승인 절차와 업무 설정까지 맡겨 시험했다는 점에서 눈길을 끈다. 앞으로 볼 점은 연구 과제에서의 성과가 실제 업무에서도 이어지는지, 사람이 검토해야 할 부분과 걸리는 시간이 얼마나 달라지는지다.