IBM, 대화와 음성 인식 묶은 Granite Switch 4.1 공개

IBM이 대화, 판단, 음성 인식을 한 모델에 묶은 Granite Switch 4.1을 공개했다. 공개한 모델은 Granite-Switch-4.1-8B와 Granite-Switch-4.1-30B 두 가지다. 기본 모델에 용도별 기능을 붙여, 여러 기능을 한곳에서 불러 쓰도록 했다.

들어간 기능은 세 가지다. 일반적인 판단을 맡는 Decision, 안전 관련 판단에 특화한 Guardian, 음성을 글로 바꾸는 Granite-Speech-5.0-Turbo-CTC다. IBM은 이 음성 인식 모델이 음성 인식 성능을 비교하는 OpenASR 순위표에서 가장 빠르다고 소개했다.

기능이 늘면 GPU도 늘어날까

IBM이 내세운 변화는 기능을 더해도 GPU 메모리 사용량이 기본 모델만 쓸 때와 거의 같다는 점이다. 회사는 이 구성으로 더 적은 GPU에서 여러 기능을 처리할 수 있다고 설명했다. 대화와 음성 처리, 콘텐츠 검사를 함께 돌리는 서비스라면 장비 부담과 바로 연결되는 대목이다.

이미지: huggingface.co

방법은 ‘어댑터’다. 기본 모델에 기능을 덧붙이는 작은 추가 학습 모듈이다. 대화하면서 계산해 둔 정보를 이후 판단 작업에서도 다시 쓰는 구조다. IBM은 처리 속도를 높인 소프트웨어 개선과 음성 인식 기능 통합으로 대화, 판단, 음성 요청 사이를 빠르게 전환할 수 있다고 밝혔다.

기능을 조합하는 방식은 이전 Granite Libraries에서도 선보였다. 당시에는 특정 판단이나 작업에 맞춘 어댑터를 모아 두고 사용자가 골라 조합하게 했다. 이번 두 모델은 쓸 만한 어댑터를 미리 묶어 공개한 형태다. Granite Libraries에서 필요한 어댑터만 골라 자신만의 모델을 구성하는 방식도 쓸 수 있다.

받아쓰기 다음은 어디까지 하나

IBM이 든 활용 예는 음성을 받아쓴 뒤 내용을 요약하고, 유해한 내용이 있는지 살피는 작업이다. IBM은 8B 모델 하나가 이런 기능과 사용자가 직접 정한 판별 항목 15개를 실시간으로 처리한다고 설명했다. 음성을 글로 바꾸는 데서 끝나지 않고, 그 내용을 정리하고 검사하는 일까지 이어진다.

이미지: huggingface.co

성능 비교에서는 작업별 전문 기능의 효과를 내세웠다. IBM에 따르면 Guardian은 안전 관련 판단 과제에서 Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions, Clef-Flash보다 평균 성능이 높았다. 전문 어댑터 네 개를 붙인 30B 모델은 검색한 자료를 참고해 답하는 5단계 작업을 Jev-27B보다 훨씬 빨리 마쳤다고 밝혔다.

IBM은 사용자가 어댑터를 직접 학습시키는 개발 도구와 안내를 추가로 내놓을 계획이다. 결국 자신이 처리할 작업에 맞춰 기능을 얼마나 쉽게 붙이고 조합할 수 있는지가 관건이다.