Ai2, GPU를 '시간 예산'으로 나눠 사람 손 수리 74% 줄였다

AI 연구기관 Ai2가 연구용 GPU를 작업 우선순위 대신 ‘시간 예산’으로 나누는 운영 방식을 소개했다. 프로젝트마다 쓸 수 있는 GPU 시간의 몫을 정하고, 실제 사용량에 따라 실행 순서를 조정하는 방식이다. 오래 돌아가는 작업도 일정 시간이 지나면 다른 작업에 자리를 내줄 수 있다.

Ai2는 엔비디아 H100, B200, B300 GPU 수천 개를 운영한다. 한 묶음(클러스터)으로 묶인 GPU는 88개에서 1024개까지다. 내부 연구자 약 150명이 대규모 AI 학습과 로봇 연구 등에 이를 쓴다. 대기 중인 작업이 요구하는 GPU는 쓸 수 있는 양의 2~3배에 이른다고 Ai2는 밝혔다.

작업 100%가 ‘최우선’, 왜 그랬나

기존 방식에서는 연구팀이 직접 작업 우선순위를 정하고, 중간에 멈추면 안 되는 작업을 지정할 수 있었다. 그러자 실행되는 작업이 전부 ‘높은 우선순위’로 올라갔다고 Ai2는 설명했다. 필요할 때 바로 쓰려고 아무 일도 하지 않는 빈 작업으로 GPU를 미리 차지하는 사례도 있었다. 문제를 고치는 실험을 바로 시작하기 어려웠던 연구자들이 자리를 먼저 잡아 둔 것이다.

중요한 프로젝트에 GPU를 전용으로 떼어 주는 방법도 한계가 있었다. 그 팀이 실험을 준비하는 동안 GPU가 놀아도 다른 팀은 기다려야 했다. 오래 돌아가는 작업은 장비 정비도 막았다. 당직 엔지니어가 문의 대응 시간의 대부분을 정비가 필요한 장비의 작업을 끝내 달라고 협의하는 데 썼다고 Ai2는 밝혔다.

시간을 나누면 뭐가 달라지나

새 방식에서는 관리자가 연구 조직과 프로젝트 구조에 맞춰 GPU 시간 예산을 나눈다. 작업을 배정하는 시스템은 기본적으로 최근 7일간 사용량을 본다. 배정받은 몫보다 적게 쓴 팀의 작업을 먼저 돌리고, 많이 쓴 팀은 뒤로 보낸다. Ai2는 각 팀이 배정된 시간을 채울 만큼 작업을 꾸준히 제출하면 일주일 단위로 배정된 몫을 받을 수 있게 설계했다고 설명했다.

이미지: huggingface.co

연구자 입장에서는 동시에 쓸 수 있는 GPU 수에만 묶이지 않는다는 점이 달라진다. 한동안 적게 썼다면 나중에 작업이 몰릴 때 더 많이 배정받을 수 있다. 반대로 자리를 잡아 두려고 빈 작업을 돌리면 자기 팀 예산이 깎인다. 남는 GPU는 예산을 깎지 않고 쓸 수도 있다. 다만 이렇게 돌린 작업은 예산을 쓰는 작업이 들어오면 언제든 멈춘다.

긴 학습 작업은 언제 멈추나

작업을 낼 때는 의미 있는 진전을 내는 데 필요한 최소 실행 시간을 적는다. 예산을 쓰는 작업은 그 시간 동안 중단되지 않는다. 그 뒤에는 다른 팀의 사용량과 예산에 따라 계속 돌거나 자리를 내준다. 이어서 다시 돌릴 수 있는 작업은 자동으로 대기열로 돌아간다. Ai2는 이 방식으로 정비가 필요한 장비의 작업을 차례로 비울 수 있게 됐고, 사람이 손대야 하는 수리 건수가 74% 줄었다고 밝혔다.

이미지: huggingface.co

달라진 점은 한정된 GPU를 누가 먼저 차지하느냐 대신 연구별로 얼마나 쓸지를 미리 정한다는 것이다. Ai2는 자원 배분 논의를 작업마다 벌이던 협의에서 관리자의 예산 결정으로 옮겼다고 설명했다. 앞으로 볼 점은 프로젝트별 대기 시간이 어떻게 달라지는지다. Ai2도 한 연구자에게 시간을 더 주면 다른 연구자의 몫이 줄어든다며, 정책이 바뀌면 또 다른 우회 행동이 나올 수 있다고 짚었다.