오픈AI, 앱의 판단을 최대 10배 빠르게 한다는 Decisions API 출시

오픈AI가 10월 22일(현지시간) Decisions API를 정식 출시했다. 앱이 요청을 분류하거나 다음 행동을 고르는 일을 맡기는 서비스로, GPT-6 Luna를 개발자가 자기 서비스에 붙여 쓰는 방식이다. 답의 범위가 미리 정해진 판단만 처리하도록 만들었다. 오픈AI는 같은 모델을 기존 Responses API로 쓸 때보다 최대 10배 빠르게 판단한다고 밝혔다.

앱에서 어떤 일을 맡나

요청을 어디로 보낼지, 어떤 행동을 이어갈지 고르는 데 쓴다. 글과 이미지, 정해진 형식으로 정리한 데이터를 입력으로 받는다. 한 번의 요청에 질문을 최대 400개까지 함께 보낼 수 있고, 질문 안에 이미지를 넣어도 된다.

결과는 용도에 따라 세 가지 형태로 받는다. 첫째는 어떤 조건이 참일 확률을 0에서 1 사이 숫자로 받는 방식이다. 둘째는 미리 정한 선택지 중 하나를 고르게 하는 방식으로, 확률과 신뢰도도 함께 돌려준다. 셋째는 순서가 있는 평가 단계마다 확률을 반영해 점수로 받는 방식이다.

실시간 대화에서는 어떻게 쓰나

공개 시험 이후 GPT-Live와 바로 연결하는 기능이 추가됐다. 실시간 대화를 하는 도중에 필요한 판단을 즉시 내리는 기능이다. 오픈AI는 대화 내용에 맞춰 아바타의 표정을 고르는 예시를 제시했다. 반복되는 입력을 저장해 다시 쓰는 기능과 미국, EU 지역에서의 처리도 더해졌다.

쓰는 곳에서는 얼마나 빨라졌나

고객 사례는 앱이 다음 행동으로 넘어가기까지 기다리는 시간이 줄었다는 내용이다. Speak는 다음 행동까지 걸리는 시간이 1.4초에서 0.13초로 줄었다고 설명했다. Box는 보험증명서 30건을 평가한 사례에서 전달 경로를 고르는 시간이 약 5분의 1로 줄었다고 밝혔다.

비용과 처리 속도가 함께 나아졌다는 사례도 있다. Ramp는 AI 비용을 실제 작업에 배분하는 업무에서 GPT-6 Luna를 쓸 때보다 4배 빠르고 비용은 30% 줄었다고 밝혔다. Sierra는 호출 한 번에 드는 비용이 90% 줄었다고 설명했다.

비용은 얼마나 드나

기본 입력 가격은 100만 토큰당 0.10달러다. 저장해 둔 입력을 다시 쓰면 100만 토큰당 0.01달러이고, 답을 내놓는 쪽에는 요금이 없다. 입력을 30분 또는 12시간짜리로 저장해 둘 때 드는 쓰기 비용은 별도 가격 안내에 적혀 있다. 반복 입력을 많이 쓸 계획이라면 이 비용까지 더해 계산해야 한다.

개발자는 Decisions Playground와 개발자 가이드로 기능을 미리 시험할 수 있다. 데이터를 저장하지 않는 기능은 자격을 갖춘 고객만 쓸 수 있다. 한국 서비스에 적용할 때는 한국어 입력의 판단 정확도와 실제 대기 시간, 입력 저장 비용까지 포함한 총비용을 함께 따져 볼 만하다.