UAE 방언으로 묻고 답하는 AI, Falcon-Emirati-7B 공개

Falcon 개발팀이 10월 6일 아랍에미리트(UAE) 방언에 특화한 AI 모델 Falcon-Emirati-7B를 공개했다. 기존 아랍어 모델 Falcon-H1-Arabic을 바탕으로 현지 어휘와 문법, 문화 지식을 추가로 학습시켰다. 일상 대화부터 속담과 시까지 단어만 옮겨서는 놓치기 쉬운 의미를 이해하고, 현지 말투로 답하도록 설계했다고 개발팀은 밝혔다.

표준 아랍어와 무엇이 다른가

개발팀이 겨냥한 문제는 글로 쓰는 아랍어와 말로 하는 아랍어의 차이다. 뉴스와 교과서에는 현대 표준 아랍어가 쓰인다. 반면 UAE의 일상 대화에는 고유한 어휘와 리듬을 지닌 에미리트 방언이 쓰인다. 개발팀은 속담이나 나바티 시처럼 문화적 맥락이 중요한 표현은 단어 뜻을 알아도 실제 의미를 놓칠 수 있다고 설명했다.

새 모델은 기존 모델군 가운데 모델 크기가 70억인 모델을 토대로 만들었다. 이 기반 모델은 표준 아랍어와 여러 지역 방언, 영어와 다국어 데이터를 이미 학습한 상태였다. 개발팀은 여기에 에미리트 방언을 집중적으로 가르쳤다. 70억 크기를 고른 이유로는 방언의 섬세한 차이를 익힐 여력과 학습 및 답변 비용 사이의 균형을 들었다.

현지 말투는 어떻게 가르쳤나

학습에는 실제 방언 글과 문화 자료, AI가 만든 데이터를 함께 썼다. 현지 웹사이트와 게시판에서 자연스럽게 쓰인 방언을 모았다. 관습과 역사를 다룬 표준 아랍어 자료로는 문화 지식을 보탰다. 대화 주제를 넓히려고 만든 생성 데이터에는 에미리트 어휘 사전과 문법 규칙을 적용했다. 다른 걸프 지역 말투와 뒤섞이지 않도록 이런 제약을 뒀다고 개발팀은 설명했다.

이미지: huggingface.co

학습 결과는 자동 점수와 원어민 검토를 함께 써서 점검했다. 원어민은 답의 정확성은 물론 말투의 자연스러움과 문화적 적절성도 살폈다. 수치 비교에는 개발팀과 커뮤니티가 함께 만든 성능 시험 Alyah를 썼다. 원어민에게서 손으로 모은 객관식 문항 1,173개로, 인사와 예절, 비유적 표현, 전통 지식과 시 등을 평가한다.

그래서 현지 말투로 답할까

Falcon-Emirati-7B의 Alyah 정답률은 84.83%다. 비교한 아랍어 및 다국어 모델 가운데 가장 높은 결과라고 개발팀은 밝혔다. 이 비교에서 기반 모델인 Falcon-H1-Arabic 모델군은 제외했다. 개발팀은 같은 문항에 자유롭게 답하도록 하는 평가도 함께 진행했다.

이미지: huggingface.co

자유 답변은 Gemini 3.7 Flash가 내용의 정확성과 방언 사용 정도를 각각 채점했다. 개발팀이 공개한 부분 점수에서 방언 사용 정도는 Falcon-Emirati-7B가 0.52로 가장 높았다. 비교 모델은 ALLaM이 0.05, gemma-3-27b-it가 0.03, Jais-2-8B-Chat이 0.02였고, Fanar-2-27B-Instruct는 사실상 0.00이었다. 개발팀은 비교 모델들이 에미리트 방언으로 물어도 표준 아랍어로 답하는 경향을 보였다고 설명했다.

이 모델이 노리는 변화는 이용자가 평소 쓰는 말투로 묻고, 같은 말투로 답을 받는 경험이다. UAE 이용자와 대화하는 서비스를 준비하는 한국 기업에도 참고가 될 만하다. 남은 관문은 객관식 시험에서 나온 점수가 실제 일상 대화에서도 이어지는지다.