AI が strawberry の R を数えられない理由
著者 Chatday Editorial Team ·
チャットボットに結婚式の段取りを頼めば、見事にこなします。でも「strawberry に R は何回出てくる？」と聞くと、かなりの確率で「2 回」と答えます。本当の答えは 3 回です。これは最新の AI の最も奇妙な点のひとつです。量子物理学を説明してくれる同じ道具が、6 歳の子どもが鉛筆で解ける作業でつまずくのです。
これはバグではありませんし、AI が愚かなわけでもありません。そもそもこうしたシステムがどう読むか、その副作用なのです。そして一度それが分かると、AI の小さな奇妙なつまずきの多くが、急にしっくりきます。
有名な「strawberry」のつまずき、その正体
「strawberry に R はいくつ？」は、AI に恥をかかせるインターネットお気に入りの手になりました。しばらくの間、ほとんどのチャットボットが間違えて「2 つ」と答えました。人生で一度も間違えたことがない人のような、朗らかな自信とともに。
自分でつづってみてください。s-t-r-a-w-b-e-r-r-y。最初のほうに R が 1 つ、最後のほうに R が 2 つ続きます。合計 3 つ。人間には簡単です。私たちは本物の文字を見ているからです。AI にはそれが許されていません。なぜかを知るには、AI がどう読むかを見る必要があります。
AI は文字ではなく、かたまりで読む
ここがほとんど誰も知らない部分です。AI モデルがあなたのメッセージを読む前に、文章はトークンと呼ばれるかたまりに刻まれます。トークンはたいてい、よく使われる単語かその断片です。「strawberry」という単語は、よく「st」「raw」「berry」のようなものに分けられます。
では、モデルと同じやり方で R を数えてみましょう。かたまり「st」には 1 つもありません。「raw」には 1 つ。「berry」には 2 つありますが、モデルはそれを b-e-r-r-y ではなく、ひとつの塊として見ます。こうして文字はかたまりの中に埋もれ、モデルはその場で読み取る代わりに、各かたまりのだいたいのつづりを覚えておかなければなりません。
ある研究者が見事に言い表しました。先にほどかずにロープの中の糸を数えようとするようなもの、と。モデルは撚られたロープ（トークン）を見ていて、ばらばらの糸（文字）は見ていないのです。
なぜ同じ癖が簡単な計算を壊すのか
AI が哲学の小論文はすらすら書けるのに、4 桁の掛け算でつまずくのも、これが理由です。数字もかたまりに刻まれます。しかも一貫していません。12345 という数字は「123」と「45」になることがあり、モデルは紙の上であなたがやるようには、桁をきちんとそろえられません。
さらに、AI は計算していません。読んだすべてをもとに、次に言いそうな最もありそうなものを予測しているのです。言語ではこれがみごとに働きます。「だいたい合っている」で十分だからです。ところが算数ではうまくいきません。答えは正確か間違いかのどちらかだからです。モデルは確率のために作られ、算数は正確さを求めます。この 2 つはいつもうまが合うわけではありません。これは AI が自信たっぷりに作り話をする理由の親戚です。すらすらしていてもっともらしい答えは、正しい答えと同じではありません。
では、なぜ今は正解するモデルもあるのか
ここで話が一転します。今日、ほとんどのチャットボットに strawberry を聞くと、3 つと答えます。この質問があまりに有名になり、正しい答えが学習した内容に刷り込まれたのです。モデルが急に文字を見る目を手に入れたわけではありません。オチを丸暗記しただけです。
単語を変えると、仮面がはがれます。2025 年のある入念なテストで、研究者は「blueberry に B はいくつ？」と尋ねました。人気のチャットボットは 10 回のうちおよそ 4 回間違え、実際は 2 つなのに 3 つだと自信満々に主張しました。ご丁寧に計算の横に小さなチェックマークまで添えて。別のモデルは根気よく 1 文字ずつ進めて、毎回正解しました。同じ作業なのに結果はまるで違う。つまりこれは、AI の鉄則というより、そのモデルがわざわざ立ち止まって確かめる手間をかけるかどうかの問題なのです。
これが正直な話です。かたまりの問題は本物ですが、それがすべてではありません。考えを見せる AI でさえ数え間違えることがあります。1 文字ずつ本当に知覚するのではなく、手順に沿ってパターンを当てているからです。新しい「考える」モデルは、速いモデルよりこれがずっと得意です。速い AI と賢い AI の違いのよい例です。ただし、得意は保証と同じではありません。
AI が得意なことと、念のため確認すべきこと
内部の仕組みを丸暗記する必要はありません。AI がどこで頼りになり、どこで作業を見せてもらうべきか、その勘さえあれば十分です。
| 作業 | AI の得意度 | どうするか |
|---|---|---|
| 書く・要約する・アイデア出し | 抜群 | 信じて、あとでざっと見る |
| 概念をやさしい言葉で説明する | 抜群 | 信じる |
| 文字や記号を数える | 不安定 | つづらせる |
| 長い、または正確な計算 | 不安定 | ステップごとに頼む、または電卓を使う |
| 長い文書の中の正確な細部 | まちまち | 元の行を引用させる |
パターンは単純です。作業が言語なら、流れにまかせましょう。作業が正確さを求めるなら、速度を落とさせるか、慎重なモデルに切り替えましょう。
本当に正しい答えを得る方法
3 つの手で、数えや計算のつまずきのほとんどが直ります。
- 作業を見せてもらう。「1 文字ずつ進めて」や「ステップごとに解いて」と言うと、モデルは答えを口走る代わりに、自分で見える形にすべてを書き出します。
- 2 回聞く、または 2 つのモデルに聞く。 正確さが大事なら、最初の速い答えを信じないこと。別のモデルからのもうひとつの意見が、こうした間違いを驚くほど拾ってくれます。
- 作業に合ったモデルを使う。 速くておしゃべりなモデルは速度のために作られています。細かくて正確さが要る作業には、少し遅い、考えるモデルの数秒の余分が値打ちがあります。
最後の点は、ひとつの AI に縛られていないほうが楽です。最高のモデルをいくつか同じ質問に並べて、実際にどれが正解するかを見られます。
まとめ
AI の文字数えのつまずきは、こっそり愚かだというしるしではありません。これらの道具が実際どう動くかをのぞく窓です。かたまりで読み、計算する代わりに予測し、言語には見事で、字義どおりのことには不器用。それが分かれば、驚くのをやめて、舵をとりはじめられます。速度を落とすよう頼み、作業を見せてもらい、答えが本当に合っていないと困るときは、2 つ目のモデルを加えましょう。
その勘を養う一番の方法は、自分でいじってみることです。モデルに R を数えさせ、次に先に単語をつづらせて、答えが変わるのを見てみてください。