Почему ИИ-модели дают разные ответы

Задайте ChatGPT, Gemini и Claude один и тот же вопрос, и часто получите три разных ответа. Иногда отличается только тон. Иногда подход оказывается совсем другим. Спросите одну и ту же модель об одном и том же дважды, и даже тут ответ может измениться.

Кажется, что что-то сломалось. Это не так. Именно так эти инструменты и должны работать, и когда вы разберётесь, почему, сможете использовать это в своих интересах, а не удивляться каждый раз заново.

Короткий ответ: ИИ предсказывает, а не ищет

Вот в чём почти все ошибаются насчёт ИИ-чат-ботов. Люди думают, что где-то есть большая база данных и ИИ просто находит в ней нужную запись. На деле всё иначе.

Языковая модель работает больше как самый начитанный автодополнятель в мире. Она читает ваш вопрос и предсказывает следующее слово, потом следующее, потом ещё одно, каждое на основе того, что наиболее вероятно появится после всего сказанного ранее. Свяжите достаточно таких предсказаний, и получится абзац, который читается как настоящий ответ.

Ключевое слово здесь: «вероятно». На каждом шаге нет одного очевидного следующего слова. Есть целый набор достойных вариантов, и у каждого своя вероятность. Модель должна выбрать один. И именно в том, как она выбирает, начинаются различия.

Знакомьтесь: «температура», регулятор творчества

У каждой модели есть скрытая настройка под названием температура. Она определяет, насколько смело модель выбирает следующее слово.

Понизьте её, и модель будет действовать осторожно, почти всегда беря самое вероятное слово. Ответы получаются устойчивыми и предсказуемыми. Повысьте её, и модель охотнее берёт менее очевидные слова, из-за чего текст становится разнообразнее и креативнее, но немного менее предсказуемым. В IBM это описывают как управление тем, насколько «острым» или «плоским» является набор вариантов перед тем, как модель делает выбор.

Хороший образ для этого: модель с низкой температурой похожа на повара, который готовит строго по рецепту, поэтому каждая порция выходит одинаковой. Модель с высокой температурой похожа на шеф-повара, который импровизирует, поэтому ужин иногда получается блестящим, а иногда странным.

Это и есть главная причина, по которой одна и та же модель может ответить на один вопрос по-разному. В неё специально заложена крупица управляемой случайности, потому что чуть более разнообразные ответы кажутся естественнее и человечнее, чем машина, повторяющая одно и то же слово за словом.

Почему две разные модели расходятся ещё сильнее

Температура объясняет, почему одна модель «шатается». Но почему Gemini звучит спокойно и обстоятельно, а другая модель резко и без обиняков? Это зависит от того, как «росла» каждая модель, а одинаково не рос ни один из них.

Три вещи формируют инстинкты модели:

• Что она читала. Каждая модель обучается на своём наборе текстов. Та, что видела много академических текстов, чаще оговаривается и звучит формально. Та, что обучалась на более широкой и разговорной смеси, получается более непринуждённой. Обучающие данные незаметно задают словарь, ритм и то, насколько осторожно модель себя ведёт.
• Как её донастраивали. После базового обучения компании доводят модель до нужного поведения в диалоге. Этот этап определяет, как модель начинает ответ, насколько длинными получаются её реплики и что она делает, когда не уверена.
• Отзывы людей. Реальные люди оценивают ответы модели, и она учится тянуться к тому, что им понравилось. Если оценщики предпочитали более тёплые, короткие и осторожные ответы, модель смещается в эту сторону. Во многом именно этот этап делает так, что у каждой модели появляется своя узнаваемая «личность».

Поэтому GPT, Gemini, Claude и Grok расходятся во мнениях не потому, что один прав, а остальные ошибаются. Каждый учился на своём материале, и его обучали разные команды с разными вкусами. Конечно, они отвечают по-разному. Задайте один и тот же вопрос четырём начитанным друзьям, и вы тоже получите четыре разных взгляда.

Быстрое сравнение

Один вопрос, четыре модели. Вот разница, которую вы реально заметите в повседневном использовании.

Воспринимайте это как общее впечатление, а не как рейтинг. Эти «характеры» реальны и достаточно устойчивы, чтобы на них можно было опираться, но какая модель окажется «лучшей», действительно зависит от конкретного вопроса. Хотите проверить сами? Задайте каждой модели один и тот же вопрос.

Меняют ли это дело «рассуждающие» модели?

Немного, да. Новые модели-рассуждатели, которые перед ответом делают паузу и разбирают задачу шаг за шагом, меньше опираются на случайный выбор слов в своём основном ответе. Поскольку основную работу выполняет тщательное рассуждение, изменение температуры слабее влияет на то, придут ли они к верному результату. Формулировки у них всё равно будут различаться, но в сложном фактическом или логическом вопросе они, как правило, стабильнее, чем быстрая и разговорчивая модель.

Если хотите разобраться подробно, чем быстрые и лёгкие модели отличаются от более медленных и вдумчивых, мы разложили это в статье быстрый ИИ против умного ИИ.

Когда разные ответы действительно становятся проблемой

Будем честны насчёт минусов. Разнообразие отлично подходит для мозгового штурма и написания текстов. Но не так хорошо, когда нужен один надёжный факт.

Если вы просите у ИИ конкретную дату, число или пошаговую инструкцию и каждый раз получаете разный ответ, это тревожный сигнал, на который стоит обратить внимание. Он может означать, что модель не уверена и, по сути, угадывает, а именно так и появляются уверенно звучащие ошибки. Решение простое: когда ответ действительно важен, спросите несколько моделей, и если они совпадут, ему можно доверять больше. Если ответы расходятся, это повод проверить информацию по надёжному источнику. Мы разобрали, почему ИИ иногда выдаёт неверные факты с полной уверенностью, в статье почему ИИ выдумывает факты.

Так что то же свойство, которое делает ИИ забавным собеседником для мозгового штурма, требует внимания, когда речь идёт о жёстких фактах. Понимать, в какой из этих ситуаций вы находитесь, это уже половина дела.

Как заставить эти различия работать на вас

Как только вы перестаёте ждать одного идеального ответа, срабатывает более полезная привычка: сравнивать. Вместо того чтобы доверять единственному ответу, задайте один и тот же вопрос нескольким моделям и прочитайте их параллельно.

• Для фактов совпадение между двумя-тремя моделями служит хорошим признаком достоверности. Расхождение подсказывает, что нужна проверка.
• Для текстов прогоните одно и то же задание через несколько моделей и оставьте вариант, который звучит наиболее похоже на вас.
• Для идей: чем больше моделей, тем больше ракурсов. Одна из них предложит то, что остальные упустили.

Загвоздка в том, что перескакивать между разными приложениями и учётными записями ради этого сплошная морока, поэтому большинство людей просто не берётся за это. Возможность держать все модели в одном месте и есть то, что делает сравнение достаточно быстрым, чтобы действительно этим пользоваться. Можно задать вопрос один раз и увидеть, как отвечает каждая модель, рядом друг с другом, или переключаться между моделями прямо в разговоре, если одна не даёт нужного результата. Мы сравнили тройку лидеров лицом к лицу в статье ChatGPT против Gemini против Claude, если хотите разобраться глубже.

Итог

Разные ответы не сбой. Это естественный результат того, как работают эти инструменты: они предсказывают текст с крупицей случайности, и каждая модель несёт в себе инстинкты, заданные данными и людьми, которые её формировали. Ожидать, что одна машина даст один идеальный ответ, это неверный подход.

Лучше воспринимать ИИ как совет умных и начитанных консультантов, а не как единственный оракул. Спросите нескольких, обратите внимание, где они сходятся, и выберите ответ, который подходит вам. Сделайте так, и разнообразие перестанет сбивать с толку, а станет самым ценным моментом.