llmspeed, 그래픽카드 사기 전 내 PC의 AI 속도 미리 본다

개인 개발자가 10월 17일(현지시간) 해커뉴스의 Show HN 게시판에 AI 속도 비교 웹 도구 llmspeed를 소개했다. 내 컴퓨터에서 직접 AI 모델을 돌려 보려는 사람이 부품을 사기 전에 답변 속도를 가늠해 보는 도구다. 기기와 모델을 고르면 답변이 시작될 때까지 기다리는 시간과 그 뒤 글이 이어지는 속도를 화면에서 바로 볼 수 있다.

llmspeed는 따로 설치할 것 없이 웹사이트에서 쓴다. 개발자는 앞서 2026년 8월에도 이 도구를 소개했다. 이번 해커뉴스 게시물에는 집계 시점 기준 점수 89점과 댓글 38개가 달렸다.

어떤 기기가 더 빠를까

두 가지 조합을 나란히 놓고 속도를 견줘 볼 수 있다. 서로 다른 기기와 모델을 하나씩 골라, 답변이 시작되기까지 얼마나 기다리는지와 글이 얼마나 빠르게 이어지는지를 비교하는 방식이다. 초당 속도를 숫자로만 보여주지 않고, 글이 실제로 흘러나오는 모습을 그대로 재현한다.

고른 모델이 그 기기의 메모리에 다 들어가는지도 알려준다. 모델이 너무 커서 일부를 컴퓨터의 일반 메모리로 넘겨야 하는 경우에는 그 사실을 표시한다. 개발자에 따르면 고를 수 있는 대상은 그래픽카드(GPU)와 Mac, CPU를 합한 하드웨어 30종, 모델 15종이다. 하드웨어 전체로는 CUDA, Metal, ROCm, Vulkan, CPU 등 다섯 가지 실행 방식을 다룬다.

사기 전에 속도를 체험해 보는 도구는 llmspeed만 있는 것은 아니다. LapTime도 하드웨어별로 답변 시작까지의 시간과 그 뒤 생성 속도를 체감하게 해 준다. llmspeed는 두 조합의 속도 비교와 모델의 메모리 수용 여부를 한 화면에서 함께 보여준다.

화면 속 속도는 실제로 잰 값일까

화면에 재현되는 답변은 고른 기기에서 모델을 그때그때 돌린 결과가 아니다. llmspeed는 같은 구성에서 직접 측정한 값, 비슷한 구성의 측정값으로 추정한 값, 하드웨어 사양만으로 예측한 값을 구분해 표시한다. 측정 기록이 없으면 메모리가 데이터를 옮기는 속도와 연산 성능을 바탕으로 예상 속도를 계산한다.

실제로 쓸 때는 차이가 생긴다. 개발자는 드라이버, AI 실행 프로그램, 전력 제한, 발열에 따라 실제 속도가 추정치와 10~30% 달라질 수 있다고 밝혔다. 그래픽카드 여러 장을 함께 쓰는 구성은 아직 재현하지 않는다.

한국에서도 웹사이트에 접속해 기기와 모델 조합을 골라 보는 방식으로 쓸 수 있다. 소스 코드는 MIT 라이선스로 공개돼 있다. 부품 값을 치르기 전에 AI가 답을 내놓기까지 기다릴 시간을 미리 체감해 본다는 점이 llmspeed의 쓸모다.