長いチャットで AI の質が落ちる理由
著者 Chatday Editorial Team ·
最初の10分はすばらしい。AI はこちらの意図をつかみ、答えは的確で、ようやくまともな仕事相手が見つかったと感じます。
ところが30通目あたりで、様子が変わります。最初に決めたルールを忘れる。すでに却下した案をまた出してくる。指摘すると謝り、2つ先の返信でまた同じ間違いをする。
あなたの忍耐が切れたわけでも、モデルの調子が悪いわけでもありません。長い会話は本当に質が落ちます。市場にあるどのモデルでも起きますし、その度合いは研究で測定されています。
長い会話で AI の回答に何が起きるのか
Microsoft と Salesforce の研究者が、説明の簡単な実験をしました。モデルが普段なら難なくこなす作業、たとえば短いコードを書く、複数の資料をもとに質問へ答えるといったものを用意し、2通りの頼み方をしたのです。
1つ目では、依頼の全体が1通の完結したメッセージで届きます。2つ目では、まったく同じ情報が数回のやり取りに分けて小出しにされます。実際の人間の話し方と同じで、あいまいな最初のお願い、次に細かい条件、次に訂正、そしてまた条件、という具合です。
同じモデル、同じ情報、同じ最終目標。違うのは渡し方だけでした。
20万件を超えるシミュレーション会話と6種類の作業を通じて、テストされた最上位モデルはすべて、小出し版で明らかに成績を落としました。平均の下落幅は39%です。この論文は2025年5月に公開され、4月にはこの分野の主要学会の1つである ICLR 2026 で口頭発表されました。
さらに興味深いのは、どう失敗するかです。モデルの能力そのものが落ちたわけではありません。落ちたのは安定性で、これは別種の、より厄介な問題です。同じ小出しの質問を同じモデルに10回投げると、1通で頼んだときよりも出来のばらつきがずっと大きくなります。
理由は思い浮かべやすいものです。最初のメッセージがあいまいなとき、モデルは説明が明確になるのを待ちません。足りない部分を静かに推測で埋め、その推測に固執し、それを土台にした答えを作り始めます。推測が外れていれば、以降のすべてがその誤りを引き継ぎます。研究者は、会話の序盤で道を間違えたモデルは、あなたが直接指摘してもたいてい戻ってこないと報告しています。
記憶が大きくても長いチャットが直らない理由
当然の反論があります。今のモデルは記憶が巨大で、100万語を一度に読めるものもある。50通程度のチャットなど何でもないはずだ、と。
それは容量の話としては正しく、質の話としては正しくありません。この2つの差にすべてが詰まっています。その記憶のしくみを詳しく知りたい方向けに、コンテキストウィンドウとは何なのかを別記事で説明しました。要点は、モデルが答えている間に目の前に置いておけるテキストの量、ということです。
目の前に置けることと、うまく使えることは別です。Chroma の研究チームは2025年7月に主要な18モデルを検証し、すべてに同じ傾向を見つけました。入力が長くなるにつれて正答率は下がり、しかも公表されている上限のはるか手前で下がり始めます。仕様上100万語を受け付けるモデルでも、5万語の時点ですでに目に見えて質が落ちることがあるのです。
この研究の中で、直感に反していて印象に残る点が2つあります。
- 無関係な一節が1つ混ざるだけで悪化する。 100個ではなく、注意をそらす文章の塊を1つ加えるだけで、正答率は測定できるほど下がりました。
- きれいに整理された文章のほうが、ばらばらの山より悪いことがある。 周囲の資料が論理的に並んでいるときより、順序をかき混ぜたときのほうがモデルの成績は高くなりました。
さらに、日常の不満の多くを説明する、もっと古くて何度も再現されている発見もあります。スタンフォード大学が中心となった2023年の研究は、モデルが長い入力の冒頭付近と末尾付近の情報をもっともよく見つけ、真ん中の情報はかなり見落とすことを示しました。8通目で丁寧に書いたあなたの指示は、いまや山の真ん中に埋もれています。これ以上に悪い置き場所はありません。
この2つを合わせると、絵がつながります。あなたの長いチャットは、AI が参照する整理された書類ではありません。膨らみ続けるテキストの山であり、その中であなたの大事な1行は、雑談や行き止まりや、とっくに終わった訂正など40通分と場所を奪い合っています。
AI 各社もわかっていて、回避策を作った
これは一部の人の不満ではありません。企業自身が文書に残しています。
Anthropic の開発者向けドキュメントには compaction という機能の説明があります。会話が長くなると、古い部分を自動で要約する機能です。理由ははっきり書かれています。「会話が長くなるにつれて回答の質は低下する」ため、古い内容を短い要約に置き換えるのだ、と。
もう一度読んでみてください。ここに使える発想があります。長い会話に対する公式の対処は、その大半を捨てて要約だけ残すことなのです。まったく同じことを、あなたはどのチャットアプリでも、無料で、手作業でできます。機能の実装を待つ必要はありません。
会話がずれ始めたときの対処
実践的に言い換えると次のとおりです。症状と、その裏で起きていることを結びつけてください。
| 気づくこと | 何が起きているか | どうするか |
|---|---|---|
| 最初に決めたルールを忘れる | 指示が長いチャットの真ん中に埋もれている | 最新のメッセージでルールを書き直す。念押しではなく、指示そのものとして |
| 却下した案をまた出してくる | 却下した案が履歴に残り、いまも文脈として数えられている | 新しいチャットを開き、望むことだけを書く。除外したことは書かない |
| 回答があいまいで一般的になる | ウィンドウの中で競合する材料が多すぎる | 現状を1通にまとめ、そこから続ける |
| 訂正しても同じ間違いを繰り返す | 序盤で誤った推測に固執している | そのスレッドを捨てる。訂正が、その下にある会話に勝つことはまれです |
| 事実を自信たっぷりに間違える | 会話の長さとは別の問題 | AI が自信満々に作り話をする理由を参照 |
そして、多くを未然に防ぐ5つの習慣です。
- 依頼の全体を最初に出す。 この研究でもっとも確かな結論は、完結した1通が、同じ情報を小分けにしたものに勝つということです。全体を書くために30秒だけ余計にかけてください。
- 言い争わずにやり直す。 チャットがおかしくなったら、新しく開くのに費用はかかりません。よい部分だけを貼り直しましょう。
- 長い作業の最後に自分用の要約を作る。 これまでの決定を短くまとめてもらい、内容を確認し、新しいチャットを開いて最初のメッセージとして貼り付けます。
- 話題ごとにチャットを分ける。 仕事の案件は1本、旅行の計画は別の1本。混ぜると両方に雑音が入ります。
- 行き詰まったらモデルを替える。 別のモデルは、前の会話がうまくいかなかったことを知りません。まっさらな状態で問題に向き合い、最初のモデルと有益な形で意見が食い違うこともよくあります。この点はAI モデルごとに答えが違う理由で取り上げました。
最後の1つはもっとも手軽な方法ですが、AI アプリを1つしか開いていない人ほど見落とします。
この助言が通用しない場面
正直な注意点をいくつか。この対処法は万能ではありません。
やり直しには実際のコストがあります。ニュースレターの文体を1時間かけて教え込んだのなら、それを捨てるのはつらいですし、要約ではすべてを写し取れません。その場合は、短くて使い回せる指示書をパソコンのメモに残し、新しいチャットのたびに貼り付けてください。役立つ部分だけを持ち越し、雑多な部分は置いていけます。
この研究は、台本どおりに動く模擬ユーザーを相手にモデルを試したもので、道がそれたことに気づいて止められる生身の人間との、雑然としたやり取りではありません。注意深く読み、3通目で誤りに気づける人なら、この数字が示すよりよい結果を出せます。訂正の代償がまだほとんどない序盤の返答こそ、しっかり読む価値があるということです。
さらに、1本の長いスレッドが本当に必要な仕事もあります。要約すると要点が失われる大きな資料を読み進める場合などです。長い文書向けに作られたClaude Opus 4.7のようなモデルは、こうした作業を平均より上手にこなしますが、問題そのものは消えません。その場合はスレッドを保ちつつ、中心となる指示を数通おきに書き直し、モデルがもっとも注意深く見る山の末尾近くに置き続けてください。
まとめ
長い AI 会話が崩れるのは、機械が疲れるからではありません。モデルが序盤に黙って前提を置き、その上にすべてを積み上げ、そしてあなたの一番大事な指示を、均等には読まないテキストの山の真ん中に埋めてしまうからです。
そうとわかれば、やるべきことは明らかです。まとめて一度に伝える。ずれ始めたらやり直す。指示書は貼り直せる場所に置いておく。そして1つのモデルが堂々巡りに入ったら、言い争うのをやめて、同じ質問を別のモデルに渡すことです。