AI에 연구를 맡겨 봤더니, 방향 정하기에서 막혔다

Arjun Panickssery가 AI가 스스로 하는 연구개발이 얼마나 독창적인지 의문을 제기하는 글을 커뮤니티 사이트 LessWrong에 올렸다. 스크래블 엔진, Ultimate Tic-Tac-Toe 봇, 철학 연구 프로젝트에 AI를 써 본 경험을 토대로 한 평가다.

그가 가장 문제로 꼽은 것은 연구 방향을 정하는 판단력이다. 그가 지켜본 프로젝트에서 모델이 중요한 기존 연구 자료를 가려내거나 의미 있는 실험을 설계하는 데 부족했다고 밝혔다. 무엇을 참고하고 무엇을 시험할지 정하는 단계에서 특히 어려움을 겪었다는 설명이다.

사람이 거듭 지시해 성능을 끌어올린 사례도 소개했다. Panickssery는 스크래블에서 규칙에 맞는 수를 모두 나열하는 작업의 최고 기록을 약 10배 높였다고 밝혔다. AI가 혼자 해낸 결과는 아니었다. Panickssery가 모델 Astra에 거듭 지시해 얻은 성과다.

이 글이 AI를 일과 연구에 쓰는 사람에게 던지는 질문은 하나다. 어디까지 맡기고 어디서부터 사람이 챙겨야 하느냐다. 같은 과제에서 사람의 개입 정도에 따라 결과가 어떻게 달라지는지, 다른 실험에서도 같은 문제가 나타나는지는 앞으로 지켜볼 대목이다.