AI가 이제 책 한 권을 통째로 읽는 이유

지어낸 것처럼 들리는 수치 하나. 오늘 여러분이 쓰는 AI는 한 번에 약 100만 단어를 읽을 수 있습니다. 대략 작은 책장 하나 분량을, 단 한 번에 받아들이는 셈이죠. 그것도 질문 하나에 답하기도 전에 말입니다.

기술 업계는 이를 “컨텍스트 윈도우”라고 부릅니다. 요즘 들어 그 숫자가 점점 터무니없어졌어요. 그렇다면 무언가가 100만 개 있다는 게 실제로 무엇을 가져다주고, 보통 사람이 왜 신경 써야 할까요? 풀어서 설명해 보겠습니다.

컨텍스트 윈도우란 결국 무엇인가

대화의 최근 몇 분만 기억하는 사람과 이야기한다고 상상해 보세요. 긴 이야기를 들려줘도 끝날 무렵엔 어떻게 시작했는지 잊어버립니다. 그게 컨텍스트 윈도우가 작은 AI예요.

컨텍스트 윈도우는 하나의 작업을 위해 AI가 한 번에 “볼” 수 있는 모든 것입니다. 여러분의 질문, 붙여 넣은 문서, 지금까지의 대화, 그리고 쓰고 있는 답변까지요. 전부 들어가면 AI는 전체를 가로질러 점들을 이어붙일 수 있습니다. 들어가지 못하면 가장 오래된 것이 뒤로 떨어져 나가고, AI는 그걸 본 적 없는 듯 답합니다.

그러니 더 큰 윈도우는 그저 더 큰 책상입니다. 일을 시작하기 전에 필요한 모든 것을 펼쳐 둘 공간이 더 많은 거죠. (이것은 AI가 별개의 대화들 사이에서 여러분을 기억하는 것과는 다른, 별도의 기능입니다. 컨텍스트 윈도우는 한 번에 하나의 작업에 관한 이야기예요.)

단어가 아니라 토큰: AI가 실제로 세는 단위

알아둘 가치가 있는 전문 용어는 이것 하나뿐입니다. 모든 헤드라인이 쓰니까요.

AI는 단어를 세지 않습니다. 토큰을 셉니다. 토큰은 텍스트의 작은 조각으로, 짧은 단어 하나일 때도 있고 긴 단어의 일부일 때도 있습니다. 영어 기준 경험칙으로 토큰 하나는 약 네 글자, 대략 한 단어의 4분의 3쯤입니다. 그래서 1,000토큰은 약 750단어, 100만 토큰은 약 75만 단어예요.

애초에 왜 단어를 쪼갤까요? 그래야 모델이 어떤 언어든, 어떤 오타든, 지어낸 단어든 막히지 않고 다룰 수 있기 때문입니다. 토큰을 직접 셀 필요는 없어요. 어떤 회사가 “100만 토큰 컨텍스트 윈도우”를 자랑한다면, 사실은 “한 번에 약 75만 단어를 읽을 수 있다”는 뜻이라는 것만 알면 됩니다.

100만 토큰은 들리는 것보다 훨씬 크다

이렇게 큰 숫자는 어느 순간 아무 의미가 없어집니다. 그러니 여러분이 AI에 줄 법한 실제 자료 옆에 놓아 봅시다.

참고로 GPT-5.5 같은 모델은 100만 토큰 가까이 받아들입니다. 몇 년 전만 해도 수천이 보통이었어요. “이 문단을 기억한다”에서 “이 작은 도서관을 기억한다”로, 아주 짧은 시간에 건너온 셈입니다.

큰 기억이 실제로 가능하게 하는 일

여기서부터 쓸모가 생깁니다. 큰 컨텍스트 윈도우는 AI를 똑똑한 자동 완성에서, 여러분 자신의 자료 더미를 두고 추론할 수 있는 무언가로 바꿔 줍니다.

• 긴 문서를 읽는 대신 질문하세요. 90쪽짜리 보고서를 넣고 “지적한 위험 세 가지가 무엇이고, 어디에 있나요?”라고 물어보세요. 한 번도 안 해봤다면, PDF와 채팅하는 방법을 단계별로 정리해 두었습니다.
• 흐름을 잃지 않고 요약하세요. 작은 윈도우는 AI가 조각조각 요약한 뒤 이어 붙이게 만드는데, 바로 거기서 세부가 빠집니다. 큰 윈도우는 전체를 먼저 읽으니, 요약이 결말까지 제대로 반영합니다.
• 여러 파일을 한 번에 비교하세요. 계약서 초안 세 개를 붙여 넣고 그 사이에 무엇이 바뀌었는지 물어보세요. 세 개를 나란히 들고 있을 수 있습니다.
• 긴 프로젝트의 갈피를 잡으세요. 마라톤 같은 기획 대화에서도, 더 큰 윈도우는 한 시간 전에 내린 결정을 여전히 기억한다는 뜻입니다.

대부분의 사람에게 솔직한 이점은 첫 번째입니다. 길고 지루한 것을 직접 읽기를 멈추고, 질문하기 시작하는 거죠.

큰 컨텍스트 윈도우도 여전히 부족한 지점

크다고 마법은 아닙니다. 중요한 일을 맡기기 전에 함정을 알아둘 가치가 있어요.

• 가운데가 흐릿해집니다. 모델은 여러분이 준 것의 앞부분과 끝부분에 가장 주의를 기울입니다. 500쪽짜리 더미 한가운데에 핵심 숫자를 묻어 두면, 정말로 놓칠 수 있어요.
• 영구 기억이 아닙니다. 대화를 닫으면 윈도우가 비워집니다. 다음번에는 다시 붙여 넣지 않는 한 AI는 여러분의 문서를 기억하지 못합니다.
• 꽉 찼다고 이해한 건 아닙니다. 책 한 권을 윈도우에 넣는 것과 모든 뉘앙스를 파악하는 것은 다릅니다. 공간이 모자라거나 흐름을 놓치면, 빈틈을 지어내서 메우기 시작할 수 있어요. 중요한 부분은 항상 확인하세요.
• 거대한 입력은 더 느릴 수 있습니다. 모델에게 100만 토큰을 곱씹게 하는 일은 짧은 질문보다 시간이 더 걸립니다.

이 거의 전부에 대한 해법은 단순합니다. 신경 쓰는 부분을 질문 가까이에 두고, 확인할 수 있도록 AI에게 문서를 인용해 달라고 하세요.

지금 가장 여유가 큰 AI는 어느 것인가

대형 업체들은 이 문제로 조용한 경쟁을 벌이고 있습니다. OpenAI, Anthropic, Google의 최신 모델은 이제 100만 토큰 언저리에 자리 잡았고, Google은 200만 토큰을 다루도록 만든 Gemini 모델을 발표했습니다. Kimi 같은 오픈 모델도, 흔히 더 친절한 가격으로 긴 컨텍스트를 늘려 가고 있어요.

일상적인 사용에서는 정확한 숫자가 생각만큼 중요하지 않습니다. 100만 토큰 안팎이면 보통 사람이 던질 거의 모든 문서를 이미 감당합니다. 진짜 질문은 어떤 모델이 꼼꼼히 읽고 어떤 모델이 서두르느냐이고, 그건 작업에 달렸어요. 인기 있는 모델들을 ChatGPT vs Gemini vs Claude에서 정면으로 맞붙여 봤습니다.

차이를 가장 쉽게 느끼는 방법은 가장 긴 문서를 가져다가 한곳에서 두세 모델에 시험해 보는 것입니다.

자주 묻는 질문

정리하며

컨텍스트 윈도우는 토큰으로 재는 AI의 단기 기억일 뿐이고, 최신 모델은 책 한 권을 삼킬 만큼 큽니다. 현실적인 결론은, 길고 지루한 문서를 더는 직접 읽지 않아도 된다는 것입니다. 건네고 물어보면 됩니다.

다만 대화를 닫으면 윈도우가 비워진다는 것, 거대한 파일의 가운데는 빠져나갈 수 있다는 것, 그리고 중요한 답은 확인할 가치가 있다는 것만 기억하세요. 그렇게 쓰면 큰 기억은 AI가 여러분을 위해 조용히 해주는 가장 쓸모 있는 일 중 하나입니다.