지시문 바꾸자 AI 독창성 심사 정확도 93%→41%
Ai2가 연구 아이디어의 독창성을 평가하는 AI가 얼마나 믿을 만한지 시험했다. GPT-5.4는 같은 아이디어를 놓고도 지시문에 따라 정확도가 93.5%에서 40.9%로 떨어졌다.
2026년 10월 28일 수요일
Ai2가 연구 아이디어의 독창성을 평가하는 AI가 얼마나 믿을 만한지 시험했다. GPT-5.4는 같은 아이디어를 놓고도 지시문에 따라 정확도가 93.5%에서 40.9%로 떨어졌다.
고치려는 연구계획 부분에 맞춰 관련 논문을 정리하고, 근거 구절과 함께 수정안을 내놓는다. 연구자 17명 실험에서는 비교 도구보다 논문에 충실한 제안서를 쓰는 데 도움이 됐다.
프로젝트마다 GPU 사용 시간의 몫을 정하고, 최근 사용량에 따라 작업 순서를 바꾼다. Ai2는 이 방식으로 사람이 손대야 하는 수리 건수를 74% 줄였다고 밝혔다.
논문 발췌문을 받아 출처를 붙인 보고서를 쓰는 AstaBrief 8B와 학습 데이터를 공개했다. Ai2가 재 본 Asta 전체 처리 시간은 Fast 모드가 평균 51.1초로, Thinking 모드보다 약 3.5배 빨랐다.