AI は結局、高性能なオートコンプリートです

冗談のように聞こえる事実があります。結婚式のスピーチを書き、コードを直し、ブラックホールを説明してくれる AI は、その内側では、あなたのスマホがメッセージの次の単語を提案するのとまったく同じことをしています。次に来るものを、何度も何度も、ものすごい速さで予想しているのです。

それだけです。それがタネです。そして一度これが見えると、この一連の出来事が魔法ではなくなり、AI がつまずくあらゆる奇妙な場面も含めて、ずっと腑に落ちるようになります。

大きな秘密は、次の単語を予測していること

スマホに「空は」と打つと「青い」と出てきます。これは小さな予測マシンです。「青い」が手堅い賭けだと分かるだけの文章を見てきたのです。

現代のチャットボットは、これと同じ考え方を、ほとんど非常識な規模まで拡大したものです。指示を出すと、いちばん確からしい次の単語を割り出します。その単語を文に足し、全体をもう一度見て、また次を予測します。そしてまた。またと、何百回も、答えができたと判断するまで続けます。作文も、詩も、レシピも、大家さんへのお詫びも、すべて最善の一語ずつ組み立てられます。

完成した考えを打ち込んでから読み上げているわけではありません。むしろ、ここまでの文しか見えず、すべてがどこに着地するか分からないまま次の単語に踏み切らねばならない書き手のようです。結果が筋の通ったものに見えるのは、どの予想もその前のすべての単語に形づくられているからです。

待ってください、単語を当てるだけでどうやって作文が書けるのですか

ここが不可能に思える部分なので、正直にお答えします。これほどうまくいくとは、作った側も予想していませんでした。

飛躍をもたらしたのは、2017年に Google の研究者が編み出した transformer という設計です。その超能力は、文脈に注意を向けることです。次の単語を選ぶとき、直前の単語だけを見るのではありません。あなたのメッセージの中で意味のあるものすべてを一度に天秤にかけ、次に来るものにとってどの部分がいちばん重要かを見極めます。「その医師は自分の」に続く言葉を頼めば、文脈をすでにくみ取り、「レンチ」ではなく「聴診器」へ傾きます。

この仕掛けを十分に深く積み重ね、十分な例を与えると、不思議なことが起こります。人間のあらゆる文章にわたって次の単語を本当にうまく予測するには、モデルは単語の下にある型を拾い上げる必要があります。文法、口調、事実へのおおまかな感覚、笑いの形、論の運び方です。これらの力はプログラムされたものではありません。穴埋めゲームで極めて上手になったことの副産物なのです。

どうやってここまで予想が上手になったのか

AI はあなたと話せるようになる前に、学校へ行きます。とても密度が濃く、まるで社交的でない学校です。

学習のあいだ、モデルは巨大な文章の山を読みます（公開されたインターネットの大きな一部、本、記事、掲示板を想像してください）。そして、たった一つの反復ゲームをします。次の単語を隠して、それを当てようとするのです。外せば少し調整し、当たれば強めます。これを何兆もの単語にわたって何十億回も行うと、ほとんどどんな文体でもどんな文でも仕上げてしまう、不気味なほど上手なマシンへと少しずつ磨かれていきます。

一つはっきりさせておきたいことがあります。AI はインターネットを丸暗記して、その断片を貼り返しているのではありません。文章そのものではなく、型を学んだのです。だからこそ、これまでどこにも存在しなかった、ワッフルという名前のあなたの猫についての一文を書けます。答えを探しているのではなく、型を混ぜ合わせているのです。

なぜこの一つの考えが AI のすべてを説明するのか

ここがご褒美です。AI にまつわる、面白い、いらだたしい、あるいは愛おしいことのほとんどは、同じ一点に行き着きます。真実を調べているのではなく、確からしい単語を予測している、という点です。

それぞれにもっと深い物語があります。AI が涼しい顔で誤った事実を述べるとき、予測マシンは正しい答えより、なめらかな答えを選んでいます。これはまさに AI が自信満々に作り話をする理由そのものです。同じ質問を2回して違う返事が来るのは、作りつけの偶然がひとつまみ効いているからで、AI が同じ答えを二度返さない理由でもあります。そして有名な文字数のしくじりは、文章をかたまりに刻む方法から来ていて、AI が strawberry の R を数えられない理由の全体像です。症状は違っても、エンジンは同じです。

「オートコンプリート」なんて頭が悪そう。ではなぜこんなに賢く見えるのか

「ただ単語を予測しているだけ」という言い方は、大きな規模で起きていることをひどく小さく見せてしまうからです。

法廷での弁論、Python の関数、俳句、別れのメッセージで次の単語を確実に当てるには、モデルはそれぞれがどう組み立てられているかについて、使える感覚を築かねばなりません。十分な種類の文章で、十分にうまく予測することは、下の仕組みが確率のままでも、じきに「理解」にとてもよく似てきます。これを「ただのオートコンプリート」と呼ぶのは、交響曲を「ただの気圧の変化」と呼ぶのに少し似ています。技術的には正しくても、途方もなく不十分です。

ですから、二つの考えを同時に持つのが公平です。手法は本当に次の単語の予測です。そして結果は、本当に役立ち、創造的で、ときには使う人より賢いこともあります。

たとえが崩れるところ

この点に正直でいると、やけどをせずに済みます。「高性能なオートコンプリート」はよい心の地図ですが、限界があります。

AI は、自分の言っていることが本当かどうかを知りません。「これは正しいか」ではなく、「これはよい続きに聞こえるか」を最適化しています。たいていはその二つが一致します。一致しないと、自信満々で、間違っていて、美しく書かれた答えが返ってきます。アプリがそのように作られていない限り、会話をまたいであなたを覚えてもいませんし、とても長い会話では話の筋を見失うこともあります。いつも目の前にある単語だけで作業しているからです。

実践的な教訓はこうです。言葉、文章、説明、アイデア出し、言い換えでは頼ってよい。事実、数字、そして正確さが本当に大事なところは、必ず確かめる。物知りで仕事の速いインターンとして扱い、神託としては扱わないことです。

自分で体感する

これを本当に飲み込む最良の方法は、同じ指示に対して別々のモデルが別々の予想をする様子を見ることです。同じ単語を読んでも、少しずつ違う続きを予測します。だから一方はあなたのメールをぴたりと当て、もう一方は硬い、ロボットのような下書きを出します。並べて置くと、抽象的な考えが目に見えるものに変わります。

まとめ

もてはやしを取り除けば、現代の AI は次の単語を当てる、飛び抜けて優秀な予想屋です。そこにあるものを読み、確からしいものを予測し、答えができるまで繰り返します。この単純なループが、想像しにくいほどの規模になると、文章を書き、コードを書き、説明し、ときにあなたを驚かせるには十分です。そしてそれこそが、AI が妙に人間くさいつまずき方をする理由でもあります。

これを知っても、AI が役立たなくなるわけではありません。あなたが AI を使うのが上手になるだけです。いつ頼り、いつ答え合わせをするかが分かるようになるからです。その勘を身につける最速の道は、いくつかのモデルを自分でいじって、予想する様子を見ることです。