AI 요청 기록을 한곳에…직접 운영하는 중간 창구 제안

Jared Siegel이 10월 18일 개인 블로그에서 AI 요청을 직접 운영하는 프록시 한 곳으로 모으자고 제안했다. 프록시는 앱과 AI 모델 사이에서 요청을 전달하는 중간 창구다. 여러 회사의 모델을 쓰더라도 이 창구를 거치게 해, 어떤 요청이 오갔는지 한곳에서 파악하자는 것이다.

제안이 겨냥한 대상은 유료 구독으로 AI를 쓰는 사람부터 여러 모델을 붙여 쓰는 개발자까지, 사용 내역을 자세히 보고 싶은 사람이다. 여러 모델을 연결해 쓰는 서비스에서 어떤 앱이 어느 모델을 언제 불렀는지 알고 싶을 때 쓰는 방법이다.

어떤 앱이 어느 모델을 불렀나

Siegel이 설명한 방식은 모델 요청을 자신이 관리하는 창구 한 곳으로 모으는 것이다. 여기서 여러 회사의 모델로 요청을 넘기면서 호출에 쓴 접근 키, 요청을 보낸 프로그램, 모델, 시간, 상태를 기록한다. 사용량 합계만 보는 데서 나아가 요청 하나하나의 흐름을 따라갈 수 있다.

운영자가 필요에 맞게 창구를 고칠 수 있다는 점도 제안에 들어 있다. Siegel은 가상 접근 키를 쓰고 필요에 따라 프록시를 수정할 수 있다고 설명했다. 또 코딩 작업 중 캐시 미스(저장해 둔 데이터를 다시 쓰지 못하는 일)가 생기면 그 원인을 수작업으로 20초 만에 찾는다고 밝혔다.

회사가 주는 사용량 조회와 뭐가 다를까

차이는 기록하고 제어하는 위치다. 오픈AI는 개발자가 접근 키별 사용량을 조회하는 기능을 지원한다. 직접 운영하는 프록시는 요청이 모델 회사에 닿기 전에 운영자가 관리하는 경로를 한 번 거치게 한다.

이런 구성을 지원하는 소프트웨어로는 LiteLLM이 있다. 공식 문서는 직접 서버에 설치해 운영하는 프록시에서 모델 연결, 가상 키, 예산 관리, 요청별 비용 기록을 지원한다고 설명한다. 여러 모델을 붙이는 것은 물론 사용 예산과 요청별 비용까지 관리할 수 있다.

한국에서 쓰려면 무엇을 확인할까

국내에서 이 방식을 검토한다면 고른 소프트웨어와 연결할 모델 회사의 지원 범위를 함께 봐야 한다. 프록시 소프트웨어의 기능과 모델을 실제로 쓸 수 있는 조건은 따로 확인할 문제다. 이용 시점과 요금도 꾸리려는 구성에 맞춰 확인해야 한다.

이번 제안의 초점은 모델의 답변 성능보다 사용 과정을 얼마나 자세히 들여다볼 수 있느냐에 있다. 여러 모델을 붙여 쓰는 서비스 운영자라면 사용량과 요청 기록을 함께 관리하는 방식을 검토해 볼 만하다. 도입을 판단할 때는 필요한 기록을 남길 수 있는지, 직접 운영하는 비용과 관리 부담은 어느 정도인지 따져볼 필요가 있다.