Ai2, 과학 보고서 쓰는 AI 공개…초안이 51초면 나온다

Ai2가 10월 2일 과학 논문을 바탕으로 보고서를 쓰는 AI AstaBrief 8B를 공개했다. 연구 질문과 검색해 온 논문 발췌문을 받아 출처를 붙인 보고서를 만드는 모델이다. 과학 연구용 AI 플랫폼 Asta의 보고서 작성 기능에서 Fast 모드로 쓸 수 있다. 모델과 학습 데이터도 함께 공개해 직접 내려받아 돌릴 수 있게 했다.

보고서는 얼마나 빨리 나오나

보고서 한 편에 걸린 시간은 평균 1분이 채 되지 않았다. Ai2는 Asta의 전체 처리 과정을 재 보니 Fast 모드가 보고서 한 편에 평균 51.1초를 썼다고 밝혔다. Claude를 쓰는 Thinking 모드는 178.5초가 걸렸다. Fast 모드가 약 3.5배 빠르다. Ai2는 연구자가 초안을 빨리 받아 든 뒤 질문을 이어가며 내용을 다듬게 하는 것이 목표라고 설명했다.

속도를 높이려고 보고서를 만드는 순서도 바꿨다. Thinking 모드는 논문 발췌문을 요약하고 묶은 뒤 보고서를 절별로 써 내려간다. AstaBrief는 질문과 관련 발췌문을 받아 보고서 전체를 한 번에 쓴다. Ai2는 중간 작업을 생략하면서도 성능을 유지했다고 설명했다.

출처를 붙이는 법, 어떻게 가르쳤나

AstaBrief는 Qwen3-8B를 바탕으로 과학 보고서 작성법을 추가로 학습했다. 학습의 출발점은 실제 연구자들이 던진 질문이다. Ai2는 사용자 기록에서 개인정보가 담긴 질문과 과학과 무관한 요청을 걸러 연구 질문 9만 개를 남겼다. 영어가 아닌 질문도 이 단계에서 제외했다. 여러 모델로 보고서 예시를 만든 뒤 품질을 걸러 남긴 학습 사례는 4만7000개다.

이미지: huggingface.co

더 나은 보고서를 가려내는 학습도 했다. 같은 질문에 쓴 보고서 두 편을 GPT-4.1과 DeepSeek-R1이 각각 평가하고, 두 모델이 같은 쪽을 고른 사례만 남겼다. 이렇게 확보한 비교 사례는 약 6000건이다. Ai2는 평가 모델의 판단이 사람의 선호와 95% 일치하는지 확인했다고 밝혔다. 특정 모델 하나의 답이나 판단에만 기대지 않으려는 설계다.

빠른 초안, 근거도 믿을 만할까

주요 성능 시험에는 사용자가 직접 쓴 컴퓨터과학 연구 질문 200개를 썼다. 필요한 내용을 얼마나 담았는지, 각 문단이 질문과 관련 있는지 살폈다. 인용한 논문이 해당 주장을 실제로 뒷받침하는지, 보고서의 주장마다 근거가 충분히 붙었는지도 따로 평가했다. Ai2는 학습과 평가 대부분을 2025년에 마쳤으며, 지금의 최신 모델들과 전체 평가를 다시 하지는 않았다고 밝혔다.

이미지: huggingface.co

Ai2는 출처를 붙이는 것만으로는 연구 결과를 정확히 전달하기 어렵다고 짚었다. 특정 표본에서 나온 결과를 전체 집단의 특성으로 넓혀 쓰거나, 현상을 설명한 연구를 행동 권고로 바꿔 버리는 문제다. 이번 개발에서는 질문과의 관련성, 내용의 충실도, 인용 근거를 주로 측정했다. Ai2는 연구가 실제로 뒷받침하는 주장의 범위와 강도를 지키는지도 더 깊이 평가할 필요가 있다고 설명했다.

직접 돌려 보려는 연구기관을 위해 예제 작업 흐름도 함께 공개했다. 이를 손보면 기관이 가진 PDF로 보고서를 만들 수 있다. Ai2는 민감하거나 아직 발표하지 않은 연구가 질문에 담길 때는 기관 자체 시설에서 돌리는 방식이 필요하다고 설명했다. 앞으로 살펴볼 점은 작성 속도와 함께, 보고서가 원래 연구의 결론을 얼마나 충실히 지키는가다.