없는 일정까지 말하는 AI, 메모 번호 붙이게 하니 달라졌다

회의 날짜, 정한 적 있나

회의 메모를 AI에게 정리시켰는데 정하지도 않은 일정까지 덧붙인다면 어떨까. 제안으로 쓴 문장이라도 결정 사항 옆에 놓이면 읽는 사람이 하나하나 구분해야 한다. 그래서 이번에는 AI에게 주는 지시문인 프롬프트를 고쳐 봤다. 메모에 적힌 사실과 확인할 수 없는 내용을 나눠 답하게 하는 방식이다.

평소처럼 물으면 어떤 답이 올까

시험에는 아래와 같은 가상의 회의 메모를 썼다. 시범 운영 시작일은 정해졌지만, 다음 회의 날짜는 정하지 않은 상황이다.

회의 메모
1. 시범 운영은 10월 7일에 시작하기로 결정했다.
2. 운영 안내문 초안은 시범 운영 전에 검토하기로 했다.
3. 다음 회의 날짜는 정하지 않았다.

흔히 쓰는 질문은 짧다. 원하는 결과는 말하지만, 답을 어디까지 써야 하는지는 정해 주지 않는다.

회의 결과랑 다음 회의 일정 알려줘.

이 질문에 Claude Opus 5는 두 결정 사항과 다음 회의 날짜가 미정이라는 점을 정확히 정리했다. 그러고는 안내문 검토를 위해 9월 말에서 10월 초 사이에 회의를 잡자는 제안을 덧붙였다. 확정된 일정이라고 거짓으로 답한 것은 아니다. 다만 메모에 없는 시기를 꺼냈다. 회의 결과만 옮기려는 사람에게는 걸러 낼 문장이 하나 생긴 셈이다.

GPT-6 Astra는 같은 질문에 결정 사항과 일정이 미정이라는 사실만 답했다. 짧은 질문이 두 모델 모두에서 불필요한 추측을 낳은 것은 아니었다.

메모 번호까지 요청해 보자

고친 질문은 세 가지를 함께 정한다. 답에 쓸 자료, 근거 표시 방법, 모르는 내용의 처리 방식이다. 아래 지시문 뒤에 자기 회의 메모를 붙여 쓰면 된다. 근거 번호를 요청하니 메모에도 번호를 매겨 두는 편이 좋다.

아래 회의 메모만 근거로 결정 사항과 다음 회의 일정을 알려줘.
각 답변에 근거가 되는 메모 번호를 붙여줘.
메모에 없는 일정은 추측하지 말고 ‘메모에서 확인할 수 없음’이라고 써줘.
답변을 마치기 전에 붙인 번호가 실제로 그 내용을 뒷받침하는지 확인해 줘.

핵심은 “정확하게 답해 달라"는 요구에서 한 걸음 더 나아가는 것이다. 무엇을 보고 답할지, 답 옆에 무엇을 표시할지, 빈칸을 어떻게 남길지를 구체적으로 지정한다.

왜 답이 달라질까

첫째, 볼 자료를 회의 메모로 좁힌다. 이번에 필요한 일은 새 일정을 제안하는 것이 아니다. 이미 정한 내용을 찾아 정리하는 일이다. 자료 범위를 정하면 이 목적이 지시문에 그대로 드러난다.

둘째, 답마다 메모 번호를 붙이게 한다. 시범 운영 날짜는 1번, 안내문 검토는 2번과 맞춰 볼 수 있다. 답이 매끄럽게 읽히는지만 보는 대신, 그 문장이 실제 메모에 있는지 확인할 지점이 생긴다.

셋째, 정보가 없을 때 쓸 표현을 미리 정한다. 앤트로픽 안내서도 근거가 부족하면 모른다고 답하게 하고, 주요 주장에는 출처를 붙이도록 권한다. 구글 안내서 역시 함께 준 자료로 답의 범위를 한정하고, 답이 없으면 정보가 없다고 밝히게 하라고 안내한다.

두 모델에 직접 넣어 봤더니

흔히 쓰는 프롬프트를 앤트로픽 Claude Opus 5에 넣은 실제 결과 (2026년 9월 24일 실행). AI 답은 실행할 때마다 조금씩 다를 수 있다.

고친 프롬프트를 앤트로픽 Claude Opus 5에 넣은 실제 결과 (2026년 9월 24일 실행). AI 답은 실행할 때마다 조금씩 다를 수 있다.

고친 프롬프트를 오픈AI GPT-6 Astra에 넣은 실제 결과 (2026년 9월 24일 실행). AI 답은 실행할 때마다 조금씩 다를 수 있다.

앤트로픽 Claude Opus 5와 오픈AI GPT-6 Astra에 2026년 9월 24일 넣어 봤다. 고친 질문에서는 두 모델 모두 결정 사항에 메모 번호를 붙였다. 다음 회의 일정은 메모에서 확인할 수 없다고 답했다. 한국어로 지시하니 답도 모두 한국어로 나왔다.

Claude Opus 5는 결정 사항을 나눠 적고, 번호와 답이 맞는지 확인한 목록을 따로 덧붙였다. 안내문 검토 시점도 시범 운영 전으로만 정해졌고 구체적인 날짜는 없다고 설명했다. 처음 답에 있던 회의 시기 제안은 사라졌다.

GPT-6 Astra는 결정 사항을 한 항목으로 묶고 메모 1번과 2번을 표시했다. 다음 회의 일정에는 3번을 붙여 짧게 마쳤다. 따로 확인 목록은 없었지만, 답과 근거의 연결은 드러났다. 두 모델에서 공통으로 달라진 점은 근거 표시다. 물론 한 번 실행한 결과로 오류를 막는 효과를 단정할 수는 없다. AI 답은 같은 질문에도 매번 조금씩 달라진다.

공지문과 요금 확인에도 쓸 수 있다

같은 방식은 공지문에서 신청 마감일을 찾을 때도 쓸 수 있다. 날짜만 받지 않고 근거 문장까지 함께 받는 형태다.

아래 공지문만 보고 신청 마감일을 알려줘. 근거가 되는 문장을 짚어주고, 없으면 ‘공지문에 없음’이라고 해줘.

공식 사이트에서 요금을 확인하게 할 때는 실제로 본 페이지와 확인하지 못한 항목을 구분하도록 요청할 수 있다.

최신 이용 요금을 공식 사이트에서 확인해 줘. 확인한 페이지 링크를 붙이고, 확인하지 못한 요금은 추측하지 말아줘.

이번 시험의 요점은 두 가지다. 답 옆에 확인할 근거를 남기게 하고, 빈 정보를 억지로 채우지 않게 하는 것이다. 다만 업무에 옮길 때 번호나 링크가 붙었다는 사실만으로 검토를 끝내서는 안 된다. 마이크로소프트 안내서가 권하듯, 연결된 출처가 핵심 내용을 실제로 뒷받침하는지 살펴보는 일이 다음 단계다.