긴 문서 넣으면 AI가 앞부분을 잊을까, 서비스마다 다르다

긴 문서를 넣는다고 AI가 언제나 앞부분부터 잊는 것은 아니다. AI가 답할 때 참고할 수 있는 정보에는 한도가 있다. 다만 그 한도를 넘었을 때 처리하는 방식은 서비스와 설정에 따라 다르다. 한도 안에 들어간 문서라도 필요한 내용을 정확히 찾아 답하지 못할 수 있다.

AI의 책상은 얼마나 넓을까

AI가 한 번에 읽을 수 있는 분량을 컨텍스트 윈도라고 부른다. 답을 만들 때 참고할 수 있는 정보의 한도다. 책상 위에 자료를 펼쳐 놓고 질문에 답하는 모습을 떠올리면 쉽다. 책상이 넓을수록 많은 자료를 놓을 수 있다. 하지만 펼쳐 놓은 내용을 빠짐없이 활용한다는 뜻은 아니다.

이 책상에는 방금 올린 문서만 놓이지 않는다. 앞서 나눈 대화, AI에게 주는 지시문(프롬프트), 도구가 가져온 결과도 함께 자리를 차지한다. 답변을 만드는 데 쓰이는 분량 역시 한도에 영향을 준다. 문서 크기만 보고 여유가 충분하다고 판단하기 어려운 이유다.

긴 보고서로 여러 차례 질문할 때는 보고서뿐 아니라 대화 전체를 생각해야 한다. 확인할 것은 두 가지다. 파일 하나가 얼마나 긴지, 그리고 지금 답에 필요한 정보가 무엇인지다. 한 번에 많은 자료를 넣는 일과 필요한 자료를 잘 고르는 일은 별개다.

한도를 넘으면 앞부분이 잘릴까

한도를 넘겼다고 모든 AI가 문서 앞쪽을 똑같이 잘라 내지는 않는다. 앤트로픽은 개발자가 서비스에 붙여 쓰는 방식에서 입력 자체가 모델 한도보다 크면 오류가 난다고 설명한다. 이때는 입력을 그대로 받아 앞부분만 잊는다는 설명이 맞지 않는다.

오픈AI의 실시간 대화용 개발 기능에는 입력 한도를 넘을 때 오래된 메시지부터 제외하는 방식이 있다. 여기서 빠지는 대상은 대화의 오래된 메시지다. 이를 모든 문서의 앞부분이 자동으로 사라진다는 뜻으로 받아들이면 안 된다.

오류 없이 문서가 들어갔다고 답이 정확하다는 보장도 없다. 참고할 정보가 많아지면 AI가 필요한 내용을 찾아 쓰는 능력이 떨어질 수 있다. 문서가 한도 안에 들어가는지와 답변이 근거를 제대로 짚었는지는 따로 살펴야 한다.

긴 문서는 이렇게 질문한다

긴 문서를 다룰 때는 자료의 양보다 질문과 근거를 먼저 정리해 보자. 회사들의 공식 안내에 나온 방법을 일상적인 문서 작업에 옮기면 다음 순서가 된다. 특정 앱의 메뉴를 찾지 않고도 질문을 짤 때 쓸 수 있다.

1. 알고 싶은 내용을 좁힌다. 보고서 전체를 막연히 설명해 달라고 하지 않는다. 확인할 항목을 정한다. 두 계획안의 일정 차이가 궁금하다면 그 차이를 질문의 중심에 둔다.
2. 불필요한 자료를 덜어 낸다. 질문과 관계없는 문서까지 한꺼번에 보내지 않는다. 구글은 긴 자료를 쓸 때 불필요한 내용을 줄이도록 안내한다.
3. 문서마다 이름을 붙인다. 여러 자료를 함께 넣는다면 제목이나 구분 표시를 붙여 출처를 구별한다. 답이 어느 문서를 근거로 삼았는지 확인하기 위한 준비다.
4. 근거를 먼저 찾게 한다. 곧바로 결론을 요구하지 않는다. 관련 대목과 출처를 먼저 찾게 한 뒤, 그 근거를 바탕으로 답하게 한다.
5. 자료 뒤에 구체적인 질문을 둔다. 구글이 긴 자료 활용법으로 안내하는 방식이다. 마지막에 무엇을 비교하거나 확인할지 분명하게 적는다.

예를 들어 ‘계획안 A와 B에서 마감 일정이 적힌 부분을 각각 찾고, 문서 이름과 함께 일정 차이를 설명하라’고 요청할 수 있다. 문서를 구분하게 하고 근거를 먼저 찾게 하는 방법을 묶은 것이다. 이렇게 요청해도 답을 그대로 믿지는 말자. 표시된 근거와 원문을 대조하는 편이 좋다.

세 회사는 뭐라고 안내할까

세 회사의 안내에는 긴 자료에서 필요한 정보를 골라 쓰는 방법이 담겨 있다. 아래는 각 회사의 활용 지침이다. 채팅 앱에 같은 이름의 버튼이 있다는 뜻은 아니다.

같은 자료를 반복해서 쓰는 경우도 있다. 구글은 이때 자료를 저장해 두고 다시 쓰는 방식인 컨텍스트 캐싱을 검토하라고 안내한다. 문서를 한 번 읽고 질문하는 상황과 같은 자료로 여러 번 작업하는 상황은 나눠 볼 만하다.

모델 한도가 곧 앱 한도일까

2026년 9월 기준으로 GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro의 개발자용 문서는 각 모델이 다룰 수 있는 분량을 안내한다. 이 수치를 ChatGPT, Claude, Gemini의 모든 채팅 화면에 그대로 적용할 수는 없다. 내가 쓰는 채팅 서비스와 개발자용 모델 문서는 적용 대상이 다르다.

회사별 숫자를 비교할 때는 무엇을 센 한도인지도 봐야 한다. 구글은 입력과 출력의 최대 분량을 따로 표시한다. 숫자 하나만 나란히 놓으면 같은 기준의 비교인지 놓치기 쉽다.

한국어 문서를 읽히려는 이용자도 모델 이름이나 한도 숫자만 보고 판단하지 않는 편이 좋다. 실제 답이 문서 속 근거를 제대로 찾아 쓰는지 살펴야 한다. 한 번에 담을 수 있는 분량은 자료를 받아들이는 범위를 말해 줄 뿐이다. 답변의 정확성까지 보증하는 수치는 아니다.

문서를 넣기 전 확인할 네 가지

• 지금 질문에 필요하지 않은 자료를 함께 넣고 있지 않은가.
• 여러 문서의 이름과 출처를 구별할 수 있는가.
• AI에게 관련 근거부터 찾도록 요청했는가.
• 답변에 나온 근거를 원문과 대조했는가.

긴 문서를 다룰 때는 한도를 아는 일과 근거를 확인하는 일을 함께 해야 한다. 앞으로 모델이나 서비스를 고를 때도 최대 분량만 볼 일은 아니다. 자신이 자주 쓰는 문서에서 필요한 내용을 얼마나 정확히 찾아 답하는지 살펴볼 필요가 있다.