AI가 쓴 영어, 사람의 글보다 읽기 어려운 표현 많았다…14개 모델 분석

뉴욕대와 텍사스대 오스틴 연구진이 10월 21일 AI가 쓴 영어 문장에서 읽기 어려움과 관련된 표현이 얼마나 자주 나타나는지 분석한 논문을 공개했다. 연구진은 14개 언어 모델의 글을 사람의 글과 비교했다. 그 결과 여러 모델이 사람보다 읽기 어려움과 관련된 표현을 더 자주 썼다고 밝혔다.

AI는 어떤 표현을 많이 쓸까

연구진은 대화, 코딩 작업, 에세이 작성에서 모델이 만든 글을 모아 분석했다. 비교 대상은 두 가지였다. 사람이 쓴 글과, 영어를 일본어로 번역한 뒤 다시 영어로 옮긴 문장이다. 측정한 항목은 드문 단어 조합, 서로 연결된 말 사이의 먼 거리, 명사가 겹쳐 나오는 구조 등이다.

대화에서는 최상위권과 준최상위권 모델 9개가 모두 두 가지 특징을 사람보다 많이 보였다. 하나는 평소 같이 쓰이지 않는 단어를 붙여 쓰는 것이다. 다른 하나는 사물을 주어로 놓고 사람이 하는 행동을 나타내는 동사를 붙이는 표현이다.

여러 모델에서는 문법적으로 이어진 말이 서로 멀리 떨어지거나 명사가 겹치는 구조도 더 자주 나타났다. 다만 그 정도는 모델마다 달랐다. 같은 질문에도 어떤 모델이 답했느냐에 따라 문장의 복잡함이 달라졌다.

짧게 답하게 하면 쉬워질까

연구진은 답변 길이가 문체에 영향을 주는지도 실험했다. Qwen2.5-1.5B-Instruct를 추가로 학습시키면서 답변이 길면 불이익을 줬다. 불이익이 커질수록 모델은 같은 뜻을 더 짧게 담은 표현을 골랐다. 학습에 쓰지 않은 일부 표현에서도 같은 경향이 나타났다.

연구진은 뜻을 짧게 압축하려는 학습이 문체를 바꿀 수 있다고 설명했다. 조사 대상이었던 상용 모델의 문체를 설명하려면 실제 학습 과정에서도 같은 원인이 작용했는지 확인하는 후속 연구가 필요하다.

새 버전은 더 읽기 쉬울까

이전 버전보다 읽기 어려움 지표가 낮아진 모델도 있었다. 논문에서 Claude Opus 5.5는 Opus 5보다 21개 비교 항목 중 19개에서 지표가 낮았다. 연구진은 모델 계열 사이의 차이도 크다고 보고했다.

연구 범위는 영어와 제한된 대화 주제, 코드 저장소에 한정됐다. 한국어 문장은 분석하지 않았다. 같은 특징이 한국어 답변에서도 나타나는지, 그리고 실제 독자의 이해에 얼마나 영향을 주는지는 아직 확인되지 않았다.