IBM, 지침 추가만으로 GPT-4.1 고객응대 성공률 10%포인트 올렸다

IBM 연구진이 고객응대 AI에 과거 경험에서 뽑아낸 업무 지침을 붙여 성적을 올렸다. 10월 20일(현지시간) 공개한 ALTK-Evolve 실험 결과다. GPT-4.1로 소매 분야 시험을 돌렸을 때 네 차례 시도에 모두 성공한 과제 비율은 57.5%에서 67.5%로 올랐다. 모델을 추가로 학습시키지 않고, AI에게 주는 지시문인 프롬프트만 보완해 얻은 결과다.

과거 실수를 어떻게 기억하나

ALTK-Evolve는 AI가 학습용 과제를 처리한 기록을 분석해 짧은 행동 규칙을 만든다. 고객 본인 확인을 먼저 하라거나, 주문을 바꾸기 전에 변경 내용을 정리해 동의를 받으라는 식이다. 환불액을 항목별로 설명하고 환불 시점을 먼저 안내하라는 지침도 나왔다. 연구진은 지침을 뽑는 작업과 고객응대에 똑같이 GPT-4.1을 썼고, 사람이 학습용 정답을 달아 주는 작업은 필요하지 않았다고 설명했다.

뽑아낸 규칙은 AI가 대화할 때마다 읽는 기본 지시문 뒤에 덧붙인다. 연구진은 기존 업무 정책과 도구, AI의 실행 구조는 그대로 두고 지침만 추가해 효과를 비교했다.

소매 성공률, 얼마나 올랐나

실험에는 Sierra가 만든 고객응대 성능 시험 τ²-bench를 썼다. AI가 고객 역할을 맡은 다른 AI와 대화하며 주문 조회나 환불 같은 일을 처리한다. 채점은 대답이 그럴듯한지만 보지 않는다. 일을 마친 뒤 데이터베이스가 기대한 상태와 맞아떨어져야 성공으로 인정한다. 연구진은 소매와 항공 분야에서 과제마다 네 번씩 시험했다.

이미지: huggingface.co

학습에 쓰지 않은 과제에서 소매 분야의 평균 성공률은 78.1%에서 82.5%로 높아졌다. 네 번 모두 성공한 과제 비율(Pass^4)은 10%포인트 올랐다. 항공 분야에서는 지침을 전부 넣었을 때 평균 성공률이 57.5%에서 65.0%로 올랐다. 반면 Pass^4는 여러 학습 과제에서 반복해 나온 지침 14개만 넣었을 때 가장 높아, 35.0%에서 45.0%로 올랐다.

연구진은 전체 과제를 대상으로 한 소매 분야 점수도 67.5%로, 10월 12일 순위표의 모든 항목보다 높았다고 밝혔다. 이 점수는 학습용 과제와 시험용 과제를 모두 합쳐 계산했다. 합성 소매 데이터로 추가 학습한 RAFT-30B-A3B의 61.4%보다 6.1%포인트 높다. 항공 분야에서 모델을 GPT-5.5로 바꾸고 지침을 다시 뽑았을 때는 별도 시험 과제의 Pass^4가 55.0%에서 70.0%로 올랐다.

대화는 짧아졌는데, 비용은

성적이 올랐지만 대화가 길어지지는 않았다. 지침이 있을 때와 없을 때 모두 성공한 같은 조건의 실행을 비교하자, 지침을 전부 적용한 소매 AI의 평균 응답 차례는 10.59회에서 10.16회로 줄었다. 항공 분야도 9.15회에서 8.82회로 줄었다.

이미지: huggingface.co

대신 AI가 매번 읽어야 하는 지시문이 길어져 비용은 늘었다. 소매 분야에서 지침 292개를 넣자 대화당 비용은 약 0.084달러에서 약 0.139달러로 올랐다. 고객응대 AI와 고객 역할 AI의 사용료를 합친 금액이다. 연구진은 반복되는 지시문을 저장해 다시 쓰는 기능으로 실제 운영 비용 증가분을 상당 부분 줄일 수 있다고 설명했다.

이번 실험은 고객응대 AI를 개선할 때 업무 경험을 지침으로 정리하는 방법도 선택지가 될 수 있음을 보여준다. 실제로 도입한다면 분야별로 지침의 양을 조절하는 일이 중요해진다. 한국어 상담에서도 같은 개선이 나타나는지, 실제 고객을 응대할 때 성공률과 비용이 어떻게 달라지는지가 다음 검증 과제다.