중국 AI 6개에 정치 질문 967개, 균형 잡힌 답변은 17~41%

독일 AI 기업 알레프 알파가 9월 28일(현지시간) 중국에서 개발한 AI 모델이 정치적 질문에 어떻게 답하는지 조사한 결과를 공개했다. 시험 대상인 중국 모델 6개에서 ‘균형 잡힌 답변’으로 분류된 비율은 17~41%였다고 회사는 밝혔다.

질문 967개, 어떻게 만들고 채점했나

연구진은 먼저 중국과 관련된 민감한 주제 56개를 골랐다. 이어 AI로 질문을 만들고 걸러 모두 967개를 추렸다. 채점도 AI가 맡았다. 별도의 판정 모델이 각 답변을 중국 정부 입장을 반영한 답, 균형 잡힌 답, 답변 거부 세 가지로 나눴다.

모델에 따라 차이가 컸다. 알레프 알파는 Qwen 3.6 답변 가운데 80%를 정부 입장 반영으로, 2.5%를 거부로 분류했다. DeepSeek V4 Pro는 두 비율이 각각 16%, 66%였다. 같은 질문 묶음을 받았지만 한쪽은 정부 입장을 담은 답이 많았고, 다른 한쪽은 답을 피한 경우가 많았다.

비교 대상으로 넣은 Claude Sonnet 5와 Mistral Small 2603은 균형 잡힌 답변 비율이 각각 70%, 92%였다. 연구진은 판정이 흔들릴 수 있는 지점도 짚었다. 현지 법을 설명하는 답변과 그 법을 모델 자신의 답변 기준으로 삼는 답변을 가를 때 판정이 한쪽으로 치우칠 수 있다고 설명했다.

새 모델일수록 답이 달라졌나

세대가 바뀌면서 정부 입장을 직접 담은 답변이 줄어든 사례가 있었다. 연구진은 Qwen 3.6과 3.8, DeepSeek R1과 V4 Pro를 각각 비교한 결과 후속 모델에서 정부 입장 반영은 줄고 거부는 늘었다고 밝혔다. Kimi K2.5와 K3 사이에서는 이런 변화가 상대적으로 작았다.

중국 밖에서 개발한 모델도 조사 대상에 들어갔다. 알레프 알파는 엔비디아 Nemotron Cascade 2 답변의 약 17%를 정부 입장 반영으로 분류했다. 공개된 학습용 대화 자료 930만 행 가운데 약 3,500행에서도 비슷한 표현을 찾았다고 밝혔다. 회사는 이 학습 자료가 답변에 영향을 줬을 수 있다고 주장했다.

그래서 믿고 써도 될까

평가를 내놓은 회사의 사업도 결과와 무관하지 않다. 알레프 알파는 각국 정부에 자국 안에서 직접 운영하는 AI, 이른바 ‘소버린 AI’를 판매한다. 자사 모델을 중국 경쟁 모델과 구별 짓는 데 상업적 이해관계가 있다. 이번 수치는 이 회사가 질문을 만들고 AI로 답변을 분류한 시험에서 나왔다.

앞선 별도 학술 연구에서도 중국에서 개발한 모델이 정치적 질문에 답을 거부하는 일이 더 잦게 나타났다. 이번 시험은 정부 입장을 담아 답하는 경우와 아예 답하지 않는 경우를 나눠 모델별 차이를 보여 줬다.

정치 관련 정보를 AI에 물을 때는 답변 내용과 함께 답을 피하는지도 살펴볼 만하다. 연구진이 관찰한 세대 간 변화에서도 정부 입장을 담은 답변 감소와 거부 증가가 같이 나타났다. 남은 과제는 같은 질문을 한국어로 던졌을 때 국내에서 쓰는 서비스에서도 비슷한 결과가 나오는지다.