설치 없이 브라우저에서 작은 AI 비교, MicroLLM Lab 공개
모델을 내려받아 내 기기에서 대화와 성능 시험을 해 볼 수 있다. 소개 제목은 7개 모델이지만, 공식 저장소에는 GPT-2를 포함한 8개가 올라 있다.
개발자 robss2020이 작은 언어모델을 브라우저에서 바로 돌려 보는 MicroLLM Lab을 공개했다. 이용자는 모델을 골라 대화하고, 같은 화면에서 모델별 성능 시험 결과를 비교할 수 있다. 개발 환경을 따로 갖추지 않고도 내 컴퓨터에서 작은 AI의 답변과 속도를 확인해 보는 웹 실험실이다.
브라우저에서 어떻게 쓰나
MicroLLM Lab은 모델 파일을 내려받아 이용자 기기에서 답을 만든다. 브라우저가 기기의 그래픽 처리 성능을 끌어 쓰도록 해 주는 WebGPU 기술을 쓴다. 개발자는 모델 파일을 4비트(Q4) 형식으로 줄였고, 내려받은 파일은 브라우저 내부 저장 공간에 보관하도록 했다고 설명했다.
공식 저장소에는 웹 체험판과 전체 파일 다운로드 링크가 올라와 있다. 개발자는 외부 AI 서비스용 인증 키도, Python이나 CUDA 설치도 필요 없다고 안내한다. 대신 WebGPU를 지원하는 브라우저와 기기가 있어야 한다. 모델을 고른 다음 대화를 시작하거나, 미리 준비된 시험 문제 모음을 실행하는 방식이다.
7개 모델인가, 8개인가
소개 제목과 저장소에 적힌 모델 수가 다르다. 제목은 7개 모델을 내세우지만, 공식 저장소 목록에는 GPT-2를 포함한 8개가 적혀 있다. 목록에 있는 모델의 크기는 2,600만에서 3억 6,200만 사이다. Q4 형식으로 줄인 파일 용량은 모델에 따라 15MB에서 216MB로, 어떤 모델을 고르느냐에 따라 내려받을 분량도 달라진다.
개발자는 기존 PetitGPT 모델과 그 구조를 WebGPU로 옮긴 뒤 비교 기능을 붙였다고 설명했다. 모델 하나를 돌려 보는 데서 나아가, 여러 모델의 속도와 정답률을 한곳에서 보게 만든 것이다. 목록에는 2024년 SmolLM과 후속 모델인 SmolLM2가 함께 들어 있어, 두 세대의 차이도 비교할 수 있다.
속도와 답변은 어떨까
개발자가 Apple M4와 Safari에서 잰 결과에서는 PetitGPT가 SmolLM2 135M Instruct보다 글을 빨리 만들어 냈다. 1초에 만들어 낸 글자 조각이 각각 115개와 66개였다. MicroLLM Lab은 속도뿐 아니라 시험 정답률도 비교 항목으로 보여 준다.
대화에서 한 번에 다룰 수 있는 분량에는 한계가 있다. 이 배포판은 글자 조각 2,048개까지로 제한한다. 개발자는 작은 모델이 계산을 틀리거나 그럴듯한 거짓 답을 만들 수 있다고 밝혔다. 언어별로는 MiniMind2가 영어보다 중국어에 강하다고 설명했다.
MicroLLM Lab은 작은 AI가 내 기기에서 얼마나 빠르고 정확하게 답하는지 직접 시험해 보는 도구다. 여러 모델에 같은 질문을 던지고 결과를 견줘 보는 것이 주된 쓰임새다.