세레브라스, 조 단위 AI를 웨이퍼 여러 장에 나눠 돌리는 방식 공개
대형 모델의 각 층을 웨이퍼 여러 장에 나눠 올리고, 여러 이용자의 요청을 동시에 처리하는 구조다. Kimi K3를 예로 들면 웨이퍼 59장이 필요하다고 계산했다.
#Kimi K3
뉴스
같은 AI 요청, 처리 지역 따라 탄소 배출 8.5배 차이
스웨덴 Berget AI가 AI 요청 한 건의 온실가스 배출량을 계산하는 방법과 코드를 공개했다. 같은 장비로 처리해도 지역에 따라 배출량이 달라졌다.
GitHub 트렌드
내 PC에서 큰 AI 모델 돌린다, 두 달 새 쏟아진 도구들
최근 두 달 사이 공개된 프로젝트들이 PC와 휴대전화에서 AI를 돌리는 방법을 넓히고 있다. 모델을 저장장치에 나눠 두거나 여러 기기에 일을 분담하고, 글쓰기와 음성 명령에도 연결한다.
