AI에 '근거 먼저 인용' 규칙, 정답은 같고 확인은 쉬워졌다

자료를 읽는 AI에게 ‘관련 문장을 먼저 인용한 뒤 답하라’는 규칙을 넣어 시험했다. 마감 일시와 환급액, 승인자를 물었을 때 결론의 정확성은 달라지지 않았다. 달라진 것은 답을 보여 주는 순서였다. 규칙을 지침에 저장해 두자 AI가 답에 쓴 원문부터 꺼내 놓았다.

근거 먼저 인용, 어떤 기법인가

질문과 관계있는 문장을 먼저 꺼내 놓고, 그 문장에 기대어 답하게 하는 방식이다. 앤트로픽은 긴 문서에서 필요한 내용에 집중하도록 이런 순서를 권한다. 오픈AI는 긴 입력에서 관련 내용을 추리고, 날짜나 조항처럼 세부 근거가 중요하면 인용하거나 바꿔 쓰도록 안내한다. 구글은 답을 자료에 연결하고, 자료에 없는 사실을 덧붙이지 않도록 권한다.

지침에 저장한 네 줄

질문마다 긴 주문을 덧붙이는 대신, 아래 네 줄을 지침에 저장해 두는 방식이다. 넣는 곳은 ChatGPT의 ‘설정 → 개인 맞춤 설정 → 맞춤형 지침’, Claude 프로젝트의 ‘프로젝트 지침’ 또는 ‘설정 → 프로필의 선호 사항’, Gemini의 Gem ‘요청 사항’이다.

자료에 관한 질문을 받으면 답을 쓰기 전에 질문의 각 항목과 직접 관련된 자료 문장을 그대로 인용하라.
인용문을 먼저 모아 제시한 뒤, 그 인용문만 근거로 답하라.
초안과 과거 기록이 함께 있으면 현재 적용되는 확정 내용을 우선하라.
자료에 없는 항목은 추측하지 말고 자료에 없다고 밝혀라.

첫 줄은 질문의 항목마다 근거를 찾으라는 뜻이다. 마감과 금액을 물었다면 각각에 해당하는 문장을 꺼내야 한다. 둘째 줄은 근거를 답보다 앞에 놓고, 답의 범위도 그 근거로 제한한다. 셋째 줄은 초안과 옛 기록을 현재 안내와 가려내게 한다. 마지막 줄은 빈칸을 추측으로 채우지 말라는 요구다. 이번 시험에서는 네 줄을 함께 넣었다.

함정을 섞은 가상 문서로 시험했다

과제는 가상의 ‘봄샘 신청 취소 안내’를 읽는 일이었다. 2026년 봄샘 B의 확정 마감은 5월 8일 18:00, 마감 전 접수 건의 환급액은 48,000원이다. 같은 문서에 이름이 비슷한 봄샘 A의 마감과 금액, 채택되지 않은 초안, 지난해 안내를 함께 넣었다. 상품이나 연도를 잘못 고르면 다른 답이 나오는 구성이다.

승인자 항목에는 다른 함정을 뒀다. 접수 담당은 ‘운영 창구’라고 적었지만, 최종 승인자는 기재하지 않았다고 명시했다. 접수를 받는 곳을 승인자로 넘겨짚는지 보려는 장치다. 질문은 아래 한 문장이다. 지침이 없는 경우와 네 줄 규칙을 넣은 경우에 같은 자료와 같은 질문을 썼다.

2026년 봄샘 B의 취소 신청 마감 일시와 환급액, 최종 승인자를 알려줘.

같은 요청을 지침 없이(위), 규칙을 넣고(아래) 앤트로픽 Claude Opus 5에 넣은 실제 결과 (2026년 10월 2일 실행). AI 답은 실행할 때마다 조금씩 다를 수 있다.

실제 답은 어떻게 달라졌나

실행일은 2026년 10월 2일이다. Claude Opus 5와 GPT-6 Astra에 같은 질문을 지침 없이 각각 3번, 규칙을 넣고 각각 3번 보냈다. 모델마다 6번씩, 전체 12번이다. 아래는 각 조건의 첫 번째 답에서 발췌한 부분이다.

Claude Opus 5는 지침 없이도 필요한 정보를 바로 정리했다.

• 취소 신청 마감 일시: 2026년 5월 8일 18:00
• 환급액: 48,000원 (마감 전 접수된 건)
• 최종 승인자: 보고서에 기재되어 있지 않음

규칙을 넣자 Claude Opus 5는 ‘관련 인용문’부터 제시했다. 그중 마감과 환급액에 해당하는 두 문장은 다음과 같다.

“2026년 봄샘 B 신청의 취소 마감은 2026년 5월 8일 18:00이다.”

“마감 전 접수된 2026년 봄샘 B 취소 건의 환급액은 48,000원이다.”

이 답에서는 초안이 채택되지 않았다는 대목과 과거 안내가 올해에 적용되지 않는다는 대목도 인용했다. 지침이 없을 때도 혼동할 항목을 설명했지만, 규칙을 넣은 뒤에는 관련 원문을 먼저 펼쳐 보였다. 필요한 두 값만 빠르게 읽으려는 사람에게는 앞부분이 그만큼 길어졌다.

GPT-6 Astra도 지침 없이 마감과 금액을 정확히 답했다. 접수 담당과 승인자도 가려냈다.

• 취소 신청 마감: 2026년 5월 8일 18:00
• 환급액: 마감 전 접수된 취소 건에 대해 48,000원
• 최종 승인자: 보고서에 기재되어 있지 않아 확인할 수 없습니다. ‘운영 창구’는 취소 접수 담당입니다.

규칙을 넣은 GPT-6 Astra의 답도 근거부터 시작했다. 첫 두 인용문은 아래와 같다. 이어 승인자가 기재되어 있지 않다는 문장을 제시하고, 항목별 답을 정리했다.

“2026년 봄샘 B 신청의 취소 마감은 2026년 5월 8일 18:00이다.”

“마감 전 접수된 2026년 봄샘 B 취소 건의 환급액은 48,000원이다.”

반복 실행에서도 변화는 같았다. 두 모델 모두 지침 없이 실행한 3번에서 마감과 환급액을 맞혔고, 승인자를 추측하지 않았다. 다만 답 앞에 근거 문장을 그대로 인용하지는 않았다. 규칙을 넣자 두 모델 모두 3번 중 3번 먼저 인용했고, 마감과 환급액의 문장을 그대로 옮겼다. 최종 답의 내용 차이는 작았고, 근거를 확인하는 방식이 크게 달라졌다.

언제 넣어 두면 좋을까

날짜와 금액을 확인하면서 ‘어느 문장을 보고 답했는가’까지 살펴보고 싶을 때 쓸 만한 규칙이다. 같은 질문을 해도 답보다 먼저 관련 원문을 만나게 된다. 확정 안내와 초안이 섞인 문서라면 AI가 어떤 기록을 근거로 삼았는지도 함께 볼 수 있다.

대신 짧은 답을 원할 때는 인용 때문에 읽을 분량이 늘어난다. 이번 Claude Opus 5의 답처럼 제외한 기록까지 앞에 나올 수 있다. 첫 줄에 ‘자료에 관한 질문을 받으면’이라는 조건을 둔 이유도 적용 범위를 정하기 위해서다.

이 실험으로 알 수 없는 것

가상 보고서 하나로 모델별 각 조건을 3번씩 실행한 작은 실험이다. 방대한 문서에서도 같은 결과가 나오는지, 틀린 답을 실제로 바로잡는지는 후속 실험에서 볼 부분이다. 네 줄을 함께 적용했으므로 변화 중 얼마가 ‘먼저 인용’만의 효과인지도 가려내지 않았다. 지침에 저장한 뒤 일상 대화나 아이디어 요청에서 방해가 되는지 역시 이번에는 시험하지 않았다. 확인한 가치는 하나다. 평소 질문을 바꾸지 않고도 근거를 답 앞에 꺼내 놓게 했다는 점이다.