긴 대화에서 AI가 나빠지는 이유

처음 10분은 훌륭합니다. AI가 원하는 바를 알아듣고, 답변도 정확하고, 드디어 제대로 된 작업 파트너를 만났다는 생각이 듭니다.

그러다 서른 번째 메시지쯤에서 흔들리기 시작합니다. 처음에 정해 둔 규칙을 잊습니다. 이미 퇴짜 놓은 안을 다시 내놓습니다. 바로잡아 주면 사과하고, 두 답변 뒤에 같은 실수를 반복합니다.

당신의 인내심이 바닥난 것도, 모델의 컨디션이 나쁜 것도 아닙니다. 긴 대화는 실제로 질이 떨어지고, 시장에 나온 모든 모델에서 일어나며, 이제는 그 정도까지 측정되어 있습니다.

긴 대화에서 AI 답변에 벌어지는 일

마이크로소프트와 세일즈포스의 연구진이 설명하기 쉬운 실험을 했습니다. 모델이 평소에 잘 처리하는 작업, 예를 들어 코드를 조금 작성하거나 여러 문서를 근거로 질문에 답하는 일을 골라 두 가지 방식으로 요청했습니다.

첫 번째 방식에서는 요청 전체가 완결된 메시지 하나로 도착했습니다. 두 번째에서는 똑같은 정보가 여러 턴에 걸쳐 조금씩 나뉘어 전달됐습니다. 실제 사람이 말하는 방식 그대로입니다. 두루뭉술한 첫 요청, 그다음 세부 사항, 그다음 정정, 다시 세부 사항.

같은 모델, 같은 정보, 같은 최종 목표. 달라진 것은 전달 방식뿐이었습니다.

20만 건이 넘는 모의 대화와 여섯 종류의 작업에서, 시험한 최상위 모델은 모두 나눠 전달한 방식에서 확연히 나쁜 결과를 냈습니다. 평균 하락 폭은 39%였습니다. 이 연구는 2025년 5월에 공개되었고, 4월에는 이 분야의 주요 학회 중 하나인 ICLR 2026에서 구두 발표로 소개되었습니다.

더 흥미로운 지점은 어떻게 실패하느냐입니다. 모델의 능력이 떨어진 것이 아닙니다. 일관성이 떨어졌고, 이것은 다르고 더 성가신 문제입니다. 같은 모델에 나눠 던진 같은 질문을 열 번 해 보면, 한 번의 메시지로 물었을 때보다 품질의 편차가 훨씬 큽니다.

이유는 그려 보기 쉽습니다. 첫 메시지가 두루뭉술하면 모델은 명확해질 때까지 기다리지 않습니다. 빈칸을 조용히 추측으로 채우고, 그 추측을 붙잡고, 그 위에 답을 쌓기 시작합니다. 추측이 틀렸다면 뒤따르는 모든 것이 그 오류를 물려받습니다. 연구진은 모델이 대화 초반에 길을 잘못 들면 대개 되돌아오지 못하며, 직접 바로잡아 줘도 마찬가지라는 점을 확인했습니다.

기억이 커져도 긴 채팅이 나아지지 않는 이유

당연한 반문이 있습니다. 요즘 모델은 기억이 어마어마합니다. 100만 단어를 한 번에 읽는 것도 있습니다. 메시지 쉰 개짜리 채팅쯤은 아무것도 아니어야 합니다.

용량에 대해서는 맞고 품질에 대해서는 틀린 말이며, 이 둘 사이의 간극에 모든 이야기가 있습니다. 그 기억이 어떻게 작동하는지 전체 그림이 궁금하다면 컨텍스트 창이 실제로 무엇인지를 따로 설명해 두었습니다. 요약하면, 모델이 답하는 동안 눈앞에 둘 수 있는 텍스트의 양입니다.

텍스트를 눈앞에 두는 것과 그것을 잘 쓰는 것은 다릅니다. Chroma의 연구팀은 2025년 7월에 주요 모델 18개를 시험했고 전부에서 같은 양상을 발견했습니다. 입력이 길어질수록 정확도가 떨어졌고, 공표된 한계에 가까워지기 훨씬 전부터 떨어졌습니다. 기술적으로 100만 단어를 받는 모델도 5만 단어 지점에서 이미 눈에 띄게 나빠질 수 있습니다.

그 연구에서 직관과 어긋나 눈에 띄는 두 가지가 있습니다.

• 관련 없는 한 대목만으로도 성능이 깎입니다. 백 개가 아니라 주의를 흩뜨리는 텍스트 한 덩이만 넣어도 정확도가 측정 가능한 수준으로 내려갔습니다.
• 깔끔하게 정리된 텍스트가 뒤섞인 더미보다 나쁠 수 있습니다. 주변 자료가 논리적으로 배열됐을 때보다 뒤섞였을 때 모델의 점수가 높았습니다.

일상적인 답답함의 상당 부분을 설명하는, 더 오래되고 여러 번 재현된 발견도 있습니다. 스탠퍼드가 주도한 2023년 연구는 모델이 긴 입력의 맨 앞이나 맨 뒤에 있는 정보를 가장 잘 찾고, 가운데에 있는 정보는 훨씬 못 찾는다는 것을 보여 주었습니다. 여덟 번째 메시지에 공들여 쓴 당신의 지시는 이제 더미의 한가운데에 묻혀 있습니다. 최악의 자리입니다.

두 가지를 합치면 그림이 맞아떨어집니다. 당신의 긴 채팅은 AI가 참고하는 정돈된 서류가 아닙니다. 계속 불어나는 텍스트 더미이고, 그 안에서 당신의 중요한 한 줄은 잡담과 막다른 길, 이미 지나간 정정 마흔 개와 자리를 다툽니다.

AI 연구소들도 알고 있고, 우회책을 만들었습니다

이것은 소수의 불평이 아닙니다. 기업들이 직접 문서로 남기고 있습니다.

Anthropic의 개발자 문서에는 compaction이라는 기능이 설명되어 있습니다. 대화가 길어지면 오래된 부분을 자동으로 요약하는 기능입니다. 밝힌 이유는 단도직입적입니다. 「대화가 길어질수록 답변 품질이 저하된다」는 것이고, 그래서 오래된 내용을 짧은 요약으로 바꾼다고 합니다.

한 번 더 읽어 보세요. 쓸모 있는 대목이 여기 있습니다. 긴 대화에 대한 공식 처방은 대부분을 버리고 요약만 남기는 것입니다. 똑같은 일을 어떤 채팅 앱에서든, 무료로, 손으로 할 수 있습니다. 기능이 나오기를 기다릴 필요가 없습니다.

대화가 어긋나기 시작할 때 할 일

실전으로 옮기면 이렇습니다. 증상과 실제로 벌어지는 일을 연결해 보세요.

그리고 대부분을 미리 막아 주는 다섯 가지 습관입니다.

1. 요청 전체를 앞에 두세요. 이 연구에서 가장 확실한 결론은 완결된 한 통이 같은 정보를 조각내어 준 것보다 낫다는 점입니다. 요청 전체를 쓰는 데 30초만 더 쓰세요.
2. 다투는 대신 다시 시작하세요. 채팅이 어긋나면 새로 여는 데 드는 비용은 없습니다. 쓸 만한 부분만 옮겨 붙이세요.
3. 긴 작업이 끝나면 직접 요약을 만드세요. AI에게 지금까지 결정한 내용을 짧게 정리해 달라고 하고, 확인한 다음, 새 채팅을 열어 첫 메시지로 붙여 넣습니다.
4. 주제마다 채팅을 나누세요. 업무 프로젝트는 하나의 대화, 여행 계획은 다른 대화. 섞으면 양쪽 모두에 방해 요소가 들어갑니다.
5. 막히면 모델을 바꾸세요. 다른 모델은 이전 대화가 어그러졌다는 사실을 모릅니다. 문제를 깨끗한 상태에서 마주하고, 첫 모델과 유용하게 어긋나는 경우도 많습니다. 이 점은 AI 모델마다 답이 다른 이유에서 살펴봤습니다.

마지막이 가장 값싼 방법인데, AI 앱을 하나만 열어 두는 사람일수록 그냥 지나칩니다.

이 조언이 통하지 않는 지점

솔직한 단서를 몇 가지 답니다. 이 처방이 모든 경우에 맞는 것은 아닙니다.

처음부터 다시 하는 데는 실제 비용이 듭니다. 뉴스레터의 문체를 한 시간에 걸쳐 가르쳤다면 그것을 버리는 일은 아깝고, 요약은 결코 전부를 담지 못합니다. 그런 경우에는 짧고 재사용 가능한 안내문을 컴퓨터 메모에 두고 새 채팅마다 붙여 넣으세요. 쓸모 있는 부분만 챙기고 잡동사니는 두고 갈 수 있습니다.

이 연구는 각본을 따르는 모의 사용자를 상대로 모델을 시험한 것이지, 길이 어긋나는 것을 알아채고 멈출 수 있는 실제 사람과의 어수선한 주고받기가 아닙니다. 주의 깊게 보다가 세 번째 메시지에서 오류를 잡아내는 사람이라면 이 수치가 시사하는 것보다 나은 결과를 얻습니다. 정정 비용이 아직 거의 없는 초반 답변을 꼼꼼히 읽어야 할 이유입니다.

또 어떤 일은 정말로 하나의 긴 대화가 필요합니다. 요점을 잃지 않고서는 요약할 수 없는 큰 문서를 훑어 나가는 경우가 그렇습니다. 긴 문서를 위해 만들어진 Claude Opus 4.7 같은 모델은 이런 작업을 대부분의 모델보다 잘 처리하지만, 문제 자체를 없애지는 못합니다. 그런 작업에서는 대화를 유지하되 핵심 지시를 몇 메시지마다 다시 적어, 모델이 가장 주의 깊게 보는 더미의 끝자락 가까이에 두세요.

짧게 정리하면

긴 AI 대화가 무너지는 것은 기계가 지쳐서가 아닙니다. 모델이 초반에 조용히 어떤 전제를 세우고, 그 위에 전부를 쌓았으며, 그러고는 당신의 가장 좋은 지시를 고르게 읽지 않는 텍스트 더미의 한가운데에 묻어 버렸기 때문입니다.

그것을 알고 나면 할 일은 분명해집니다. 한 번에 다 말하기. 어긋나면 새로 시작하기. 다시 붙여 넣을 수 있는 곳에 안내문 보관하기. 그리고 한 모델이 제자리를 맴돌면 다투지 말고 같은 질문을 다른 모델에 넘기기.