ИИ — это просто продвинутое автодополнение
Автор Chatday Editorial Team ·
Вот факт, который звучит как шутка: ИИ, который пишет вам свадебную речь, чинит код и объясняет чёрные дыры, в глубине делает то же самое, что ваш телефон, когда подсказывает следующее слово в сообщении. Он угадывает, что будет дальше, снова и снова, очень быстро.
Вот и всё. В этом весь трюк. И как только вы это видите, всё перестаёт казаться колдовством и обретает куда больше смысла, включая все странные способы, которыми ИИ спотыкается.
Главный секрет: он предсказывает следующее слово
Наберите «небо» в телефоне, и он предложит «голубое». Это крошечная машина предсказаний. Она видела достаточно фраз, чтобы знать: «голубое» — безопасная ставка.
Современный чат-бот — это та же идея, раздутая до почти абсурдного масштаба. Вы даёте запрос, а он вычисляет самое вероятное следующее слово. Потом добавляет это слово к фразе, снова смотрит на всё целиком и предсказывает следующее. И снова. И снова, сотни раз, пока не решит, что ответ готов. Сочинение, стихотворение, рецепт, извинение перед арендодателем — всё строится по одному лучшему слову за раз.
Он никогда не печатает готовую мысль, чтобы потом зачитать её вам. Это скорее автор, который видит фразу только досюда и должен выбрать следующее слово, не зная, чем всё закончится. Результат кажется связным потому, что каждую догадку формируют все предыдущие слова.
Стоп, как угадывание слов пишет целое сочинение?
Это та часть, что кажется невозможной, так что честный ответ: никто и не ожидал, что это сработает настолько хорошо.
Прорыв дал приём под названием transformer, придуманный исследователями Google в 2017 году. Его суперсила — внимание к контексту. Выбирая следующее слово, он смотрит не только на предыдущее. Он разом взвешивает всё важное в вашем сообщении и определяет, какие части значат больше всего для того, что идёт дальше. Попросите его закончить «врач взяла свой», и он уже учёл контекст и склонится к «стетоскоп», а не к «гаечный ключ».
Сложите этот приём достаточно глубоко и дайте достаточно примеров — и происходит нечто странное. Чтобы по-настоящему хорошо предсказывать следующее слово во всём человеческом письме, модель вынуждена уловить закономерности под словами: грамматику, тон, приблизительное чувство фактов, форму шутки, шаги рассуждения. Эти навыки не программировали. Это побочные эффекты того, что она стала очень, очень хороша в игре «заполни пропуск».
Как он так наловчился угадывать
Прежде чем ИИ сможет общаться с вами, он идёт в школу. Очень интенсивную и совсем несоциальную школу.
Во время обучения модель читает огромную кучу текста (представьте изрядный ломоть публичного интернета, книги, статьи и форумы) и играет в одно повторяющееся занятие: закрой следующее слово и попробуй его предсказать. Промахнулась — чуть подстроилась. Угадала — закрепилась. Проделайте это миллиарды раз на триллионах слов, и она постепенно оттачивается до машины, пугающе хорошо заканчивающей любую фразу почти в любом стиле.
Стоит прояснить одно: ИИ не заучил интернет наизусть, чтобы вклеивать вам его куски. Он выучил закономерности, а не отрывки. Поэтому он может написать фразу про вашего конкретного кота по кличке Вафля, которой нигде раньше не было. Он перемешивает закономерности, а не ищет готовый ответ.
Почему эта единственная идея объясняет всё, что делает ИИ
Вот и награда. Почти всё любопытное, раздражающее или восхитительное в ИИ сводится к одному: он предсказывает вероятные слова, а не сверяется с истиной.
| Что вы замечаете | Что на самом деле происходит |
|---|---|
| Он пишет быстро и гладко | Предсказывать следующее слово — ровно то, для чего он создан |
| Иногда он выдумывает факты с полной уверенностью | Правдоподобно звучащее слово может победить истинное |
| Спросите одно и то же дважды — получите два ответа | В выборе слова есть щепотка случайности |
| Он неверно считает буквы в слове | Он читает куски, а не отдельные буквы |
| Он прекрасно пишет, но шатко считает | Язык прощает «примерно так», математика — нет |
У каждого пункта своя более глубокая история. Когда ИИ не моргнув глазом заявляет ложный факт, машина предсказаний выбирает гладкий ответ вместо верного, и это ровно то, почему ИИ уверенно выдумывает. Когда вы спрашиваете одно и то же дважды и получаете разные ответы, это заводская щепотка случайности, причина, по которой ИИ никогда не даёт один и тот же ответ дважды. А знаменитый промах со счётом букв идёт от того, как он рубит текст на куски, и это вся история за тем, почему ИИ не может сосчитать R в слове strawberry. Разные симптомы, один и тот же движок.
«Автодополнение» звучит глупо. Почему же оно кажется таким умным?
Потому что «он всего лишь предсказывает слова» сильно занижает то, что происходит в большом масштабе.
Чтобы надёжно угадывать следующее слово в судебной речи, функции на Python, хайку и прощальном сообщении, модель должна выстроить рабочее чувство того, как устроен каждый из этих текстов. Предсказывать достаточно хорошо на достаточном числе видов письма — вскоре начинает сильно походить на понимание, даже если механика под капотом остаётся вероятностью. Называть это «просто автодополнением» — примерно как назвать симфонию «просто перепадами давления воздуха». Формально верно, дико неполно.
Так что справедливо держать в голове обе мысли сразу. Метод — действительно предсказание следующего слова. И результаты и правда бывают полезными, творческими и порой умнее того, кто ими пользуется.
Где аналогия ломается
Честность здесь бережёт вас от ожога. «Продвинутое автодополнение» — хорошая мысленная модель, но у неё есть пределы.
ИИ понятия не имеет, правда ли то, что он говорит. Он оптимизирует «звучит ли это как хорошее продолжение?», а не «верно ли это?». Чаще всего одно совпадает с другим. Когда нет — вы получаете уверенный, ошибочный и прекрасно написанный ответ. Ещё он не помнит вас между чатами, если приложение не сделано под это, и может потерять нить в очень долгом разговоре, потому что всегда работает со словами, что перед ним.
Практический вывод: доверяйте ему в языке, письме, объяснениях, идеях и переформулировках, и перепроверяйте факты, числа и всё, где точность действительно важна. Относитесь к нему как к быстрому и начитанному стажёру, а не как к оракулу.
Прочувствуйте сами
Лучший способ по-настоящему это понять — увидеть, как разные модели по-разному угадывают на одном и том же запросе. Они читают одни и те же слова и предсказывают чуть разные продолжения, и поэтому одна точно попадает в ваше письмо, а другая выдаёт сухой, роботизированный черновик. Поставьте их рядом — и абстрактная идея становится видимой.
Итог
Уберите шумиху — и современный ИИ окажется до неприличия хорошим угадывателем следующего слова. Он читает, что есть, предсказывает вероятное и повторяет, пока не соберётся ответ. Этой простой петли в трудновообразимом масштабе хватает, чтобы писать, программировать, объяснять и время от времени вас поражать, и по той же причине он спотыкается так по-человечески странно.
Знание этого не делает ИИ менее полезным. Оно делает вас лучше в его использовании, ведь теперь вы знаете, когда на него опереться, а когда проверить его домашку. Быстрее всего это чутьё нарабатывается, когда вы сами повозитесь с несколькими моделями и посмотрите, как они угадывают.