AI 서버 짧은 메시지 대기 시간, 성능 시험에서 TCP와 13배 차이

AI 서버 여러 대가 함께 일할 때 짧은 메시지가 오래 기다리는 문제를 줄이는 통신 방식 Homa가 소개됐다. 스탠퍼드대 존 오스터하우트는 AI Engineer 행사에서 Homa와 지금 널리 쓰이는 통신 방식 TCP를 비교한 성능 시험 결과를 발표했다. 서버끼리 주고받는 짧은 연락의 대기 시간을 줄이는 것이 핵심이다.

Homa가 이번에 처음 나온 기술은 아니다. 관련 논문은 2018년 발표됐고, 리눅스 운영체제에 설치해 쓰는 모듈 형태의 연구는 2021년 공개됐다. 이번 발표는 이 통신 방식을 AI 서버 환경에서 어떻게 쓸 수 있는지에 초점을 맞췄다.

왜 짧은 메시지를 먼저 보내나

오스터하우트는 AI를 학습시킬 때와 AI가 답을 만들 때 필요한 통신이 다르다고 설명했다. 학습 작업에서는 대용량 데이터를 한꺼번에 얼마나 많이 보내느냐가 중요했다. 반면 답을 만드는 작업에서는 서버끼리 일을 나누고 맞추는 짧은 메시지가 얼마나 빨리 오가느냐가 중요하다는 것이다.

Homa는 요청과 응답을 각각 하나의 메시지로 다룬다. 데이터를 받는 쪽이 큰 메시지의 추가 전송을 허가해 전송량을 조절한다. 또 남은 길이가 짧은 메시지에 우선권을 준다. 네트워크 장비인 스위치에서도 우선순위에 따라 대기 줄을 나눈다. 짧은 메시지가 큰 전송 뒤에 줄을 서서 기다리는 시간을 줄이는 방식이다.

13배 차이, 무엇을 잰 숫자인가

오스터하우트가 제시한 시험은 50바이트 정도의 아주 짧은 메시지부터 1MB 크기까지를 주고받는 방식이었다. 짧은 메시지가 오가는 데 걸린 시간을 빠른 순서로 줄 세웠을 때, 99% 지점의 값이 TCP에서는 1밀리초(1000분의 1초)를 넘었다. Homa에서는 0.1밀리초를 밑돌았다. 오스터하우트는 이 대기 시간이 약 13배 차이 난다고 설명했다.

가장 큰 메시지에서도 Homa의 지연은 TCP의 절반 수준이었다고 오스터하우트는 밝혔다. 시험이 잰 것은 네트워크에서 요청과 응답이 한 번 오가는 시간이다.

누가 직접 써볼 수 있나

지금 직접 시험해 볼 수 있는 쪽은 AI 서버와 네트워크를 운영하는 개발자나 기업이다. 공개 저장소에서 Homa 모듈을 내려받아 리눅스에 설치할 수 있다. 다만 제 성능을 내려면 서버와 스위치에서 우선순위 대기 줄을 비롯한 네트워크 설정을 맞춰야 한다. 저장소에는 여러 서버의 데이터가 한꺼번에 몰리는 상황에 대비한 2018년 논문의 최적화가 아직 구현되지 않았다고 적혀 있다. 2026년 9월에는 받는 쪽에 전송 시작을 알리는 세부 방식도 바뀌었다.

일반 이용자가 다음으로 확인할 점은 이 차이가 실제 AI 서비스의 응답 시간에서도 나타나는지다. 국내 기업이 도입을 검토한다면 자사 네트워크 환경에서의 성능과 설치 조건, 지원 범위를 함께 살펴볼 필요가 있다.