AI 도움 끊기자 혼자 푼 정답률 하락…1,222명 실험

UC 버클리가 10월 9일, AI 도움을 받다가 갑자기 혼자 문제를 풀게 된 사람들의 성적을 조사한 연구를 소개했다. 분수 계산과 독해를 다룬 세 실험 모두에서 AI를 썼던 집단의 이후 정답률이 AI를 쓰지 않은 집단보다 낮았다. 4월 공개된 논문 초안을 고친 연구로, 10월 언어모델링 학회(COLM)에서 발표됐다.

AI를 갑자기 뺐더니 어땠나

연구진은 미국의 온라인 참가자 1,222명을 세 실험에 모집했다. 참가자들은 분수 계산이나 SAT 독해 문제를 풀었다. 이 가운데 일부는 약 10~15분 동안 옆 화면의 GPT-5에 질문할 수 있었다. 이후 연구진은 예고 없이 AI를 없앴고, 마지막 세 문제에서 정답률과 문제를 건너뛴 비율을 측정했다.

실험의 초점은 도움을 받은 직후 혼자 문제를 푸는 상황이었다. 연구진은 참가자를 무작위로 나눈 뒤, 계산과 독해라는 서로 다른 과제에서 결과를 비교했다.

정답률은 얼마나 떨어졌나

첫 번째 분수 실험에서는 AI를 썼던 집단의 정답률이 AI를 쓰지 않은 집단보다 16%포인트 낮았다. 마지막 세 문제의 정답률은 각각 57%와 73%였다. 문제를 건너뛴 비율도 AI 사용 집단이 20%, 대조 집단이 11%로 차이가 났다.

두 번째 분수 실험에서도 정답률은 AI 사용 집단 71%, 대조 집단 77%로 같은 방향의 차이가 나타났다. 다만 건너뛴 비율은 각각 10%와 7%로, 통계적으로 의미 있는 차이는 아니었다. 독해 실험에서는 정답률이 76%와 89%, 건너뛴 비율이 8%와 1%였다. 정답률은 세 실험에서 모두 낮았지만, 문제를 건너뛰는 행동의 차이는 실험마다 달랐다.

정답만 받아 쓴 사람은 어땠나

연구진은 참가자들이 AI에 어떤 도움을 구했는지도 살폈다. 두 번째 실험에서 AI를 쓸 수 있었던 집단의 61%는 주로 정답을 얻는 데 AI를 썼다고 답했다. 힌트나 설명을 얻는 데 썼다는 응답은 27%였다. 정답을 얻는 데 쓴 집단은 이후 정답률과 건너뛴 비율이 모두 더 나빴다. 연구진은 사용 방식이 이 차이를 만들었는지는 이번 분석으로 확정할 수 없다고 설명했다.

연구진은 AI를 오래 쓸 때 효과가 쌓이는지, 몇 시간이나 며칠 뒤에도 영향이 남는지는 확인하지 못했다고 밝혔다. 실험은 미국 참가자와 영어 중심 과제로 진행됐다.

공부나 업무에 AI를 쓰는 독자에게 이번 연구가 던지는 질문은 하나다. 도움을 받은 뒤에도 스스로 문제를 해결할 수 있느냐다. 앞으로 볼 지점은 정답을 받아 쓰는 방식과 힌트를 얻는 방식의 차이, 영향이 남는 시간, 그리고 한국어 학습 환경에서도 비슷한 결과가 나오는지다.