GPT-6 Astra Ultrafast 공개, 답변 글 생성 최대 8배 빨라졌다

엔비디아가 오픈AI의 GPT-6 Astra Ultrafast를 더 빠르게 돌리는 기술과 이용 현황을 공개했다. Ultrafast는 엔비디아의 Blackwell GPU에서 돌아간다. 개발자가 서비스에 붙여 쓰는 방식인 API로 쓸 수 있고, 이용 자격을 갖춘 ChatGPT Work와 Codex 사용자도 쓸 수 있다.

최대 8배, 무엇이 빨라졌나

빨라진 것은 AI가 답변의 글을 써 내려가는 속도다. 엔비디아는 Ultrafast가 Astra Standard 모드보다 글을 최대 8배 빠르게 생성한다고 밝혔다. 오픈AI 모델이 답을 만드는 과정에서 Blackwell의 특성을 살리도록 소프트웨어를 손본 결과라는 설명이다.

이 속도 개선이 겨냥하는 일은 여러 단계를 거치는 AI 작업이다. 스스로 일을 처리하는 AI(에이전트)는 코드를 쓴 뒤 도구를 실행하고, 그 결과를 보고 다음 행동을 정한다. 엔비디아는 이런 과정에서 글 생성이 반복될수록 속도 개선의 효과가 커진다고 설명했다. 답변 한 번을 기다리는 시간뿐 아니라 작업 중간마다 생기는 대기 시간을 줄이는 데 초점을 맞췄다.

코드 고치고 시험하는 시간, 얼마나 줄까

개발자에게는 코드를 고치고 시험한 뒤 오류를 잡는 과정이 주된 활용처다. 엔비디아는 빠른 생성 속도로 이 반복 과정을 짧게 줄일 수 있다고 밝혔다. AI가 도구를 한 번 쓴 뒤 다음 도구를 쓰기 전에 글을 만드는 시간도 줄어든다는 설명이다. 대화형 앱에서 이용자가 답을 기다리는 시간을 줄이는 데도 쓸 수 있다고 덧붙였다.

이미지: NVIDIA Blog

가속 작업에는 오픈AI의 자체 모델도 동원됐다. 오픈AI는 엔비디아 GPU에서 답을 만드는 소프트웨어를 다듬는 데 내부 모델을 썼다고 밝혔다. 오픈AI 컴퓨팅 부문 최고기술책임자 우데이 루다라주(Uday Ruddarraju)는 엔비디아 하드웨어에 맞춰 프로그램을 조정할 수 있는 점이 Ultrafast의 속도 개선에 도움이 됐다고 설명했다.

개선 작업은 모델을 내놓은 뒤에도 이어진다. 엔비디아에 따르면 오픈AI는 자체 모델로 소프트웨어 개선안을 시험하고 적용하고 있다. 엔비디아는 이런 작업으로 응답 속도를 높이고 이미 돌아가고 있는 장비의 생산성도 끌어올릴 수 있다고 밝혔다. 같은 장비를 학습과 답변 생성 등 여러 작업에 다시 배치하면 수요 변화에 대응하기도 쉬워진다고 설명했다.

누가 쓸 수 있나

쓸 수 있는 길은 개발자용 API와 ChatGPT Work, Codex 세 가지다. API는 발표 시점부터 쓸 수 있고, ChatGPT Work와 Codex는 이용 자격을 갖춘 사용자가 대상이다. 엔비디아는 이용 권한과 가격, 적용 방법을 Ultrafast 가이드에서 확인하라고 안내했다. 서비스에 기능을 붙이려는 개발자와 업무 도구로 쓰려는 이용자는 각자 해당하는 조건을 따져 봐야 한다.

앞으로 지켜볼 점은 최대 8배라는 글 생성 속도 차이가 실제 작업을 끝내는 시간을 얼마나 줄이는지다. 국내 이용자에게는 한국에서 쓸 수 있는지, 한국어 작업에서도 속도가 나는지, 요금은 얼마인지가 도입을 판단할 기준이 된다.