구글 실험: AI로 문서 품질은 올라도 초급자 실력은 제자리

구글이 10월 7일(현지시간) AI를 쓰면 업무 성과와 실력이 어떻게 달라지는지 살핀 연구를 발표했다. 특허 변호사들이 3개월 동안 AI를 쓰자 문서 작성 품질은 경력과 관계없이 좋아졌다. 그런데 AI 없이 오류를 찾아 고치는 과제에서는 숙련자만 비교 집단보다 점수가 높았다. 초급자는 비교 집단과 평균 차이가 없었고, 좋은 점수와 매우 낮은 점수가 함께 늘었다.

AI를 쓰면 문서 품질이 얼마나 올랐나

연구진은 구글과 독점 계약 없이 일하는 지식재산권 법률회사 11곳에서 변호사 133명을 모았다. 각 회사에서 약 3분의 2를 무작위로 뽑아, 당시 공개되지 않았던 구글 랩스의 특허 문서 작성 AI를 쓰게 했다. 나머지는 AI 사용 교육만 일부 받고, 이 도구는 실험이 끝난 뒤에 쓰도록 했다. 해당 도구는 현재 Gemini Notebook에 들어가 있다.

참여자들은 실험을 시작한 지 10일과 90일이 지난 시점에 가상의 발명 자료로 특허 문서를 작성했다. AI를 쓰는 집단에는 이 도구나 다른 AI를 활용하라고 권했다. 채점은 외부 특허 전문가들이 맡아 법적 권리의 집행 가능성, 정확성, 권리 범위 설정, 완결성, 명확성 등 다섯 항목을 봤다.

AI를 쓴 집단은 두 차례 모두 점수가 높았다. 연구진은 이 차이를 또래 집단 안 순위로 환산하면 10일째는 백분위 10점, 90일째는 11점 오른 수준이라고 설명했다. 점수 분포를 보면 낮은 점수가 줄고 중간 수준이 늘었다. 반면 아주 뛰어난 점수가 나오는 빈도는 달라지지 않았다. 초급자는 시간도 아꼈다. 10일째 과제에서 비교 집단의 평균 124분보다 18분 빨리 끝냈다.

AI 없이 풀게 하자 어떻게 됐나

연구진은 90일째에 AI를 쓰지 못하게 한 별도 과제를 냈다. 참여자들은 내용과 표현에 오류가 심어진 가상의 특허 문서를 직접 고쳤다. 특허 검토에는 발명의 새로움이나 권리 범위를 과장해 법적 효력을 해칠 수 있는 오류를 찾아내는 판단력이 필요하다. AI의 도움을 받아 만든 결과물의 품질과 사람이 스스로 발휘하는 실력을 따로 재려는 설계다.

출처: 구글 (보도자료)

이 과제에서 AI를 썼던 집단의 전체 점수는 비교 집단보다 0.32표준편차 높았다. 그러나 연구진은 이 차이가 전부 숙련자에게서 나왔다고 밝혔다. 숙련자의 점수 차이는 0.45표준편차였고, 초급자는 뚜렷한 평균 향상이 없었다. 초급자 집단에서는 중간 수준 점수가 줄고, 좋은 점수와 매우 낮은 점수가 함께 늘었다.

초급자와 숙련자, 고치는 방식이 달랐다

문서를 고치는 방식에서도 차이가 드러났다. 초급자는 AI를 썼든 안 썼든 문서 앞부분부터 순서대로 손봤고, 중요도가 낮은 표현을 다듬는 데 시간을 썼다. 심각한 결함을 발견해도 직접 고치지 않고 지적하는 의견만 남기는 경우가 많았다. 반면 AI를 썼던 숙련자는 핵심 권리 범위를 다시 짜는 데 집중했다. 이들은 후속 인터뷰에서 AI 결과물을 완성본이 아니라 논리를 점검하는 도구로 썼다고 설명했다.

출처: 구글 (보도자료)

연구진은 한계도 짚었다. 참여자가 특허 변호사로 한정돼 있고, 관찰 기간도 3개월뿐이다. 전문성이 쌓이는 데 걸리는 수년과 비교하면 짧다. AI 모델의 성능과 사용자의 익숙함이 그동안 달라진 만큼, 지금 같은 실험을 다시 하면 결과가 바뀔 수 있다고도 밝혔다.

연구진은 이미 쌓아 둔 전문성이 AI 사용 경험을 실력 향상으로 잇는 고리일 수 있다고 설명했다. 초급자가 좋은 결과물을 만드는 데서 나아가 스스로 핵심 오류까지 잡아내게 되는지는 더 긴 관찰이 필요한 대목이다. AI 도입 성과를 볼 때 결과물의 품질과 직원의 판단력을 따로 재야 한다는 것이 이번 연구의 메시지다.