음성 상담 AI Retell, 월 통화 1억 건의 80%를 오픈AI 모델로 처리

오픈AI가 10월 27일(현지시간) 기업용 음성 상담 서비스 Retell AI의 활용 사례를 소개했다. Retell의 월간 통화량은 올해 초 3,000만 건에서 9월 1억 건 이상으로 늘었다. 이 가운데 80%는 오픈AI 모델이 답을 만든다.

전화 상담에서 AI가 하는 일

Retell을 쓰는 기업은 4,000곳 이상이다. 기업은 이 서비스로 문의에 답하고 업무까지 처리하는 음성 AI를 만든다. 사람의 판단이 필요한 상황에서는 상담원에게 대화 맥락을 넘기고 통화를 연결한다. AI가 응대한 내용을 사람이 이어받는 구조다.

모델은 통화 중 응대와 통화 후 정리에 나눠 쓴다. GPT-6.1 Sol, GPT-6 Astra, GPT-5.5는 고객이 정한 지침과 대화 내용을 바탕으로 답하거나 업무 도구 실행을 요청한다. GPT-5.6 Terra는 통화가 끝난 뒤 대화 기록에서 결과와 데이터를 뽑아낸다. Retell은 새 오픈AI 모델이 나오는 날 고객이 바로 쓸 수 있게 하고 성능을 다시 평가한다고 밝혔다.

지시를 얼마나 잘 따를까

Retell이 실제 운영 상황을 바탕으로 여러 차례 대화를 주고받게 한 성능 시험에서는 GPT-6 Astra가 앞섰다. 10월 13일 평가에서 지시를 따르는 항목 점수가 89.7%로 1위였다. Astra 출시 전 평가에서는 추론 기능을 켠 GPT-5.5가 그럴듯한 거짓 답을 막는 비율 88.0%, 도구 실행 요청 정확도 88.3%를 기록했다. 두 항목 모두 Gemini-3.1-Pro와 Claude-4.6보다 높은 점수였다.

출처: 구글 (보도자료)

전화 상담에서는 답을 기다리는 시간도 중요하다. 같은 날 평가에서 첫 문장이 나오기까지 걸린 시간은 GPT-6 Astra와 GPT-6 Sol이 중간값 약 0.9초, GPT-5.6 Luna가 약 0.5초였다. Retell은 통화량이 갑자기 늘어도 버티도록 오픈AI 전용 서버를 고객끼리 공유한다고 설명했다. 통신과 음성, 모델 서비스에는 예비 수단도 마련해 운영한다고 밝혔다.

실제로 몇 건을 해결했을까

Retell은 고객 요청 해결률이 80%를 넘었다고 밝혔다. 고객사인 Anker의 해결률은 80.4%였다. Pine Park Health의 예약 AI는 환자와 통화가 연결된 경우 55.7%를 예약으로 이어갔다. Retell은 이 사례에서 의료 보조 인력 2.1명분에 해당하는 시간을 확보했다고 밝혔다.

서비스 개발에도 AI를 쓴다. 엔지니어들은 Codex로 코드를 살펴보고 기능을 만들며 오류 원인을 찾는다. GPT-6 Astra는 웹 화면을 직접 조작해 바뀐 기능을 시험하는 데 쓴다. Retell은 현재 매출을 1년치로 환산하면 직원 1인당 160만 달러라고 밝혔다.

음성 AI의 역할은 문의 응답에서 업무 처리와 통화 후 기록 정리까지 넓어지고 있다. Retell은 품질 점검과 모의 통화 시험 확대, 지원 언어 추가, 지식 기반 자동 학습을 다음 과제로 제시했다. 이런 개선이 요청 해결률과 응답 속도에 어떻게 나타날지가 앞으로 볼 지점이다.