오픈AI, ChatGPT가 쓰는 저장 플랫폼 읽기 속도 12배 빨라졌다

오픈AI가 10월 23일(현지시간) 내부 데이터 저장 플랫폼 Habitat의 읽기 성능을 끌어올린 과정을 공개했다. 오픈AI에 따르면 전 세계에서 들어오는 읽기 요청의 처리 시간이 중간값 기준 약 0.12초에서 약 0.01초로 줄었다. 약 12배 빨라진 것이다.

ChatGPT 데이터는 어디에 담겨 있나

Habitat은 ChatGPT와 Codex, 개발자가 서비스에 붙여 쓰는 방식인 API가 데이터를 가져올 때 쓰는 저장 플랫폼이다. 오픈AI는 이 플랫폼이 40개 지역에서 10억 명이 넘는 사용자를 상대로 돌아간다고 설명했다. 다루는 데이터는 500페타바이트(PB)를 넘는다. 기반 저장 서비스인 Azure Cosmos DB의 가장 큰 계정 하나는 초당 2천만 건이 넘는 요청을 처리한다.

운영 방식도 바꿔 여러 작업이 저장 자원을 함께 쓰도록 했다. 오픈AI는 용도별로 저장 공간을 나눠 쓰는 단계를 거친 뒤, 공유 공간을 기본으로 쓰는 방식으로 돌아왔다. 사용량이 몰리는 항목을 먼저 제한하고, 데이터를 한꺼번에 넣거나 꺼내는 작업은 우선순위를 낮춰, 자원이 부족할 때 먼저 속도 제한을 받도록 했다. 회사는 방식을 바꾼 뒤 몇 달 동안 용량 배분이나 특정 작업의 자원 독차지로 생긴 사고가 없었다고 밝혔다.

읽기 속도는 어떻게 12배 빨라졌나

손을 댄 곳은 전체 요청의 90%가 넘는 데이터 읽기다. 오픈AI는 중요하면서 크기가 작은 데이터를 여러 지역에 복제해 뒀다. 자주 찾는 데이터는 사용자와 가까운 곳에 임시로 보관하는 저장 공간(캐시)에 담았다. 서비스 코드도 Rust로 다시 작성했다고 설명했다.

이렇게 바꾼 결과 읽기 요청의 처리 시간 중간값이 약 0.12초에서 0.01초로 줄었다는 것이 회사의 설명이다.

저장된 내용이 바뀌면 가까운 곳에 복사해 둔 데이터는 낡은 것이 된다. Habitat은 초당 수백만 건에 이르는 데이터 변경 사항을 모아 전달한다. 이 흐름으로 낡은 캐시 항목을 지우고, 다음 읽기 요청 때 최신 데이터로 다시 채운다. 변경 사항은 데이터를 빨리 찾기 위한 목록을 만들거나 데이터를 옮기고 분석하는 작업에도 쓰인다.

가까운 저장소만으로는 왜 안 되나

모든 데이터를 사용자 가까이에 둘 수는 없다. 오픈AI는 클라우드의 저장 공간과 전력, 냉각 용량을 걸림돌로 꼽았다. 여러 지역에 넓게 복제하는 대상도 일부 데이터에 한정된다. 가까운 캐시에 없는 데이터를 찾으면 멀리 떨어진 지역의 저장소까지 조회해야 할 수 있다.

오픈AI는 더 많은 대화 데이터를 담기 위해 자체 엑사바이트급 저장 시스템을 개발 중이라고 밝혔다. 이 설계는 플래시 저장 용량을 줄이는 대신, 초당 처리할 수 있는 최대 요청 수는 낮아지는 방식을 택했다. 앞으로 볼 지점은 쌓이는 대화 데이터를 모두 담으면서도 이번에 얻은 읽기 속도를 지킬 수 있느냐다.