엔비디아, 빌려 쓰는 전용 서버에서도 AI 모델 보호한다

엔비디아가 10월 21일 자사 보안 기술 엔비디아 컨피덴셜 컴퓨팅에 새로운 방식인 Confidential Bare Metal을 추가한다고 발표했다. AI 모델을 만드는 회사가 외부 업체의 전용 서버에서 민감한 작업을 돌리면서도 모델과 데이터를 직접 통제하게 해 주는 기능이다. 엔비디아는 AI가 돌아가는 동안 쓰는 모델과 데이터까지 보호하는 기반 기술이라고 설명했다.

빌린 서버에서 무엇을 지키나

남의 컴퓨팅 자원을 쓸 때 보호하는 범위를 넓힌 것이 이번 발표의 핵심이다. 엔비디아는 오가는 데이터를 보호하고, 시스템이 변조되지 않았는지 점검하며, 하드웨어 단계에서 접근을 막는 기능을 넣었다. 모델 개발사는 이 기능을 갖춘 외부 서버에서 운영에 필요한 소프트웨어까지 직접 구성하고 운영할 수 있다고 밝혔다.

Confidential Bare Metal은 여러 사용자가 나눠 쓰지 않는 전용 서버를 그대로 쓰는 방식이다. 이로써 엔비디아 컨피덴셜 컴퓨팅의 선택지는 세 가지로 늘었다. 새 방식 외에 여러 프로그램을 묶어 관리하는 쿠버네티스(Kubernetes) 환경용 Confidential Containers, 서버를 쪼개 쓰는 환경용 Confidential Virtual Machines가 있다. 기업은 외부 사업자를 어디까지 믿을 수 있는지, 시스템을 어떻게 운영할지에 맞춰 고르면 된다.

어디서 먼저 쓰게 되나

Cohere는 기업용 서비스인 Cohere Model Vault에 Confidential Bare Metal을 결합할 계획이다. 하드웨어에 기반한 보안을 GPU까지 넓혀, AI가 답을 만드는 동안 메모리와 장치 사이 연결 구간에 머무는 모델과 데이터를 보호하겠다는 구상이다. 기업 고객이 맡긴 데이터뿐 아니라 서비스를 돌리는 모델도 보호 대상으로 삼는다.

이미지: NVIDIA Blog

구글 클라우드는 엔비디아 GB300 NVL72 시스템을 넣은 A4X Max 서비스로 지원을 확대한다. 서버를 쪼개지 않는 환경에 암호화 보호를 더해 학습 데이터와 모델 기술을 지키겠다는 설명이다. 엔비디아는 지원 사업자가 늘어나면 모델 개발사가 세계 곳곳에서 학습과 답변 생성 작업을 늘릴 때 지역과 운영 방식의 선택지가 넓어진다고 밝혔다.

쓸 수 있는 장비는 어디까지 늘었나

지원 장비도 넓어졌다. 엔비디아는 Grace Blackwell NVL72와 x86 기반 HGX Rubin NVL8, DGX Rubin NVL8을 지원한다고 밝혔다. 여러 장비를 하나의 랙으로 묶은 NVL72 시스템에서도 돌아가는 중인 모델과 데이터를 보호할 수 있다. 엔비디아는 하드웨어로 작업 환경을 분리하고, 암호 기술로 시스템을 믿을 수 있는지 확인한다고 설명했다.

클라우드와 서버 업체도 뒤를 받친다. CoreWeave, 구글 클라우드, 마이크로소프트 Azure Infrastructure 등이 엔비디아 컨피덴셜 컴퓨팅을 지원한다. Cisco, Dell Technologies, HPE, Lenovo 등 시스템 협력사는 엔비디아 인증 시스템으로 이 기능을 지원할 예정이다. 엔비디아의 운영 소프트웨어 NVIDIA DSX OS는 세 가지 방식을 모두 지원할 예정이다. 클라우드 사업자가 AI 시설을 짓고 운영할 때 쓰는 소프트웨어 기반이 된다는 설명이다.

민감한 기업 데이터를 다루는 AI 서비스와 모델 개발사가 이번 발표의 대상이다. 외부 서버를 쓰면서도 돌아가는 중인 데이터까지 지키려는 기업에 새로운 선택지가 생겼다.