AWS, PyTorch 코드 그대로 자사 AI 칩에서 돌리는 도구 공개

아마존웹서비스(AWS)가 10월 20일 TorchNeuron을 공개 베타로 내놓았다. AI 개발에 가장 널리 쓰이는 도구인 PyTorch와 AWS가 직접 만든 AI 칩 Trainium을 이어 주는 오픈소스 도구다. AWS 클라우드의 Trainium2와 Trainium3 인스턴스에서 쓸 수 있다. 개발자가 쓰던 도구를 그대로 두면서, AI를 학습시키고 돌릴 칩의 선택 폭을 넓히겠다는 것이다.

이미지: huggingface.co

기존 코드, 얼마나 그대로 쓸 수 있나

TorchNeuron을 쓰면 PyTorch가 Trainium을 실행 장치로 바로 알아본다. 기본적인 전환은 코드에서 어떤 칩으로 돌릴지 지정하는 부분만 바꾸는 식이다. 명령을 바로 실행하는 방식, 실행 코드를 미리 최적화하는 기능, 여러 칩에 학습을 나누는 기능을 지원한다. Trainium에 맞춘 별도 작업 방식을 새로 익혀야 하는 부담이 줄어든다.

허깅페이스는 그동안 Optimum Neuron이라는 별도 도구로 Trainium 이용을 지원했다. 입력 형태를 고정하고 코드를 다시 변환하는 복잡한 과정을 감추려고 전용 코드를 따로 유지해야 했다고 설명했다. 이제는 허깅페이스의 기본 모델 실행, 학습 도구를 바로 쓰라고 권한다. 다만 엔비디아 GPU 전용으로 짠 연산 코드까지 설정만 바꿔 돌릴 수 있는 것은 아니다.

지원 모델 89%, 무엇이 늘었나

허깅페이스에 따르면 많이 쓰이는 상위 100개 글 생성 모델 구조 가운데 고치지 않고 그대로 돌아가는 비율이 89%다. Optimum Neuron v0.4.5 때의 46%보다 43%포인트 높다. Trainium으로 옮겨 실행할 수 있는 모델의 범위가 그만큼 넓어졌다는 뜻이다.

이미지: huggingface.co

비용은 어떨까. AWS는 Trainium의 가격 대비 성능을 내세운다. 음성 AI 업체 Deepgram이 PyTorch를 그대로 쓰는 방식으로 Trainium에 옮긴 뒤 1달러로 처리하는 음성 분량이 70% 늘었다는 것이 AWS의 설명이다.

글과 이미지 모델에서는 어떻게 쓰나

허깅페이스는 글 생성 외에 추가 학습과 이미지 생성 사례도 공개했다. Qwen3-8B를 Trainium2 칩 8개로 추가 학습해 끝냈고, 저장한 모델은 표준 형식이라 다른 하드웨어에서도 불러올 수 있다고 설명했다. Trainium에서 학습한 결과를 다른 환경으로 옮겨 쓰려는 개발팀에 의미가 있는 대목이다.

이미지: huggingface.co

이미지 생성 도구 Diffusers에서는 FLUX.1-dev, FLUX.2, Qwen-Image 계열 작업을 여러 칩에 나눠 돌릴 수 있다고 밝혔다. 개발자가 특정 연산을 직접 최적화해 허깅페이스 허브에 공유하는 것도 가능하다. 테크크런치와 AI타임스는 이런 흐름을 엔비디아 소프트웨어 생태계에 대한 도전으로 해석했다. 익숙한 개발 도구를 다른 칩에서도 쓰게 만든다는 점에 주목한 것이다.

도입 전에 무엇을 확인해야 하나

공개 베타인 만큼 제약도 있다. 실행 코드를 미리 최적화하는 기능은 입력 형태가 달라질 때 이를 자동으로 맞춰 주는 처리를 아직 지원하지 않는다. 입력 형태를 일정하게 맞춰 두면 한 번 변환한 코드를 계속 쓸 수 있지만, 새로운 형태가 들어오면 다시 변환해야 할 수 있다. 일부 PyTorch 기능도 지원 대상에서 빠져 있다. 지원하지 않는 연산을 CPU가 대신 처리하면 속도가 떨어질 수 있어, 실제 서비스에서 쓰는 입력과 코드로 직접 점검하는 편이 좋다.

국내 개발팀에도 관건은 같다. 기존 작업을 얼마나 적게 고쳐 옮길 수 있는지, 같은 돈으로 얼마나 많이 처리할 수 있는지다. 넓어진 모델 지원이 실제 작업의 비용 절감으로 이어지는지가 앞으로 볼 지점이다. 도입을 따져 볼 때는 쓸 수 있는 AWS 리전과 요금, 모델별 호환성을 함께 확인해야 한다.