Ai2, 논문 근거로 연구 아이디어 다듬는 LitPivot 공개

Ai2가 연구 아이디어를 다듬어 주는 시스템 LitPivot을 공개했다. 펜실베이니아대 연구진과 함께 개발했다. 연구계획에서 고치려는 부분을 고르면 관련 논문을 정리해 보여주고, 논문 속 근거 문장과 함께 수정안을 제안한다. 검토에 쓸 논문은 연구자가 직접 고른다. 제안은 그대로 받아들이거나, 고쳐 쓰거나, 거절할 수 있다. 초기 연구 구상을 돕는 도구로 만들었고, 디트로이트에서 열리는 UIST 2026에서 발표할 예정이다.

연구계획을 세 부분으로 나눠 본다

LitPivot은 논문을 읽다가 연구 방향을 바꾸는 순간에 초점을 맞췄다. 연구진은 이미 끝난 컴퓨터과학 연구 프로젝트 4개의 회의 기록에서 이런 방향 전환을 21차례 찾아냈다. 유형은 두 가지였다. 기존 연구와 차이를 만들어 독창성을 확보하는 경우, 기존 성과를 토대로 아이디어를 발전시키는 경우다. 앞서 연구자 5명을 관찰한 조사에서는 아이디어를 키워 나가면서 관련 논문으로 타당성을 따지는 일을 어려워했다.

쓰는 순서는 간단하다. 짧은 연구계획을 적은 뒤, 해결할 문제와 새로운 기여, 평가 계획 세 부분으로 나눠 표시하는 기능을 켠다. 한 부분을 클릭하면 Asta Paper Finder(Ai2의 논문 검색 도구)로 찾은 논문들이 그 내용에 맞춰 묶음별로 정리된다. 평가 계획을 선택하면 논문을 평가 방법별로 볼 수 있다. 논문을 골라 검토를 요청하면 LitPivot이 지적 사항을 뒷받침하는 구절과 수정안을 함께 보여준다.

아이디어를 고치면 근거 논문도 바뀐다

검토 기준은 연구계획의 부분마다 다르다. 문제를 설명하는 부분에서는 그 문제가 실제로 있고 중요한지 살핀다. 새로운 기여를 설명하는 부분에서는 기존 논문의 성과와 한계, 후속 연구 제안을 비교해 남은 과제를 찾는다. 평가 계획에서는 제안한 실험이 연구 질문에 답할 수 있는지, 비슷한 연구는 어떤 방법을 썼는지 검토한다.

이미지: huggingface.co

연구자가 계획을 고치면 관련 논문의 순위도 다시 매긴다. 연구의 기여가 달라져 기존 평가 계획이 맞지 않게 되는 식으로, 함께 고쳐야 할 대목도 표시한다. 실험에 참가한 한 연구자는 사실에 맞고 앞뒤가 맞는 가상 의료 기록을 만드는 구상에서 출발했다. 이후 여러 차례 진료한 기록 사이의 일관성에 주목하고, 단일 진료 기록을 다룬 논문을 검토 대상에서 뺐다. 재검토를 거쳐 연구 범위는 여러 진료 기록 사이의 모순을 찾아내는 문제로 좁혀졌다.

17명이 써 봤더니 무엇이 달라졌나

연구진은 연구자 17명에게 LitPivot과 비교 도구로 각각 주어진 아이디어 하나씩을 발전시키게 했다. 비교 도구는 문서 편집기와 고른 논문에 관해 질문하는 AI 도구였다. 양쪽에 같은 논문 모음을 썼다. 어떤 도구로 쓴 글인지 모르는 분야 전문가 2명이 결과물을 평가했다. 관련 논문으로 아이디어를 얼마나 잘 뒷받침했는지가 기준이었고, LitPivot으로 쓴 제안서가 더 높은 점수를 받았다.

이미지: huggingface.co

참가자들은 LitPivot을 쓸 때 관련 논문을 더 잘 이해했고 아이디어의 독창성과 유용성도 더 나아졌다고 답했다. 후속 조사에서는 연구자 5명이 진행 중인 프로젝트에 30분씩 LitPivot을 써 봤다. 2명은 새 아이디어를 논문과 대조했고, 3명은 이미 발전시킨 아이디어의 설명 방향을 다듬었다.

LitPivot이 내놓은 작업 방식은 아이디어 수정과 근거 논문 선택을 함께 진행하는 데 있다. 연구자는 수정안을 받아들이기 전에 근거 구절을 확인하고, 달라진 구상에 맞춰 검토할 논문도 바꿀 수 있다. 연구진은 초기 탐색과 기존 연구 방향의 개선을 모두 도울 수 있다고 설명했다. 남은 질문은 논문을 더 충실히 활용하는 효과가 실제 연구의 독창성과 유용성으로도 이어지느냐다.