Как ИИ объяснит любое фото или скриншот
Автор Chatday Editorial Team ·
Вот приём, который почти никто пока не пробовал: можно просто показать фото искусственному интеллекту и спросить, что на нём происходит. Не искать похожее, не обрезать снимок, не набирать описание словами. Показываете картинку и общаетесь с ИИ, как с приятелем, который немного разбирается во всём на свете. Список ингредиентов на упаковке снека с непроизносимым названием, странное окно с ошибкой, из-за которого зависает ноутбук, растение в саду у соседей, график в статье, смысл которого потерялся на середине. Наводите камеру, задаёте вопрос и получаете понятный ответ. Ваша галерея фото незаметно превратилась в поисковую строку, и почти никто пока не пользуется ей так.
Что значит, что ИИ умеет «видеть» фото
Долгое время чат-бот мог работать только с текстом, который вы набирали. Новые модели устроены иначе. Они «мультимодальные» — это красивый способ сказать, что они воспринимают не только текст. Можно прикрепить картинку, и ИИ прочитает её так же, как читает предложение, а затем ответит на вопросы о ней. Google изначально создавала модели Gemini так, чтобы они одновременно обрабатывали текст, изображения, аудио и видео, а последние модели OpenAI и Anthropic тоже принимают изображения. Все крупные модели, о которых вы уже слышали, теперь умеют смотреть на фото.
На практике это означает, что вам больше не нужно быть переводчиком между картинкой и текстом. Раньше вы всматривались в этикетку, набирали словами то, что видели, и надеялись, что описали всё достаточно точно. Теперь вы просто показываете этикетку ИИ. Всматриваться приходится уже ему. Перемена кажется небольшой, но она убирает самый неприятный шаг: превращать то, что вы видите, в слова, прежде чем задать вопрос.
Что лучше всего снимать на камеру
Проще всего понять идею на конкретных примерах. Вот самые частые повседневные задачи, что стоит спросить и что вы получите в ответ.
| Сфотографируйте… | Спросите… | Что вы получите |
|---|---|---|
| Этикетку с составом или списком ингредиентов | «Есть здесь что-то, что стоит избегать при аллергии на орехи?» | Понятное объяснение мелкого шрифта |
| Растение, насекомое или гриб | «Что это такое и безопасно ли это трогать?» | Предположительное определение с советом проверить точнее |
| Сообщение об ошибке, из-за которого зависло устройство | «Что это значит и как это исправить?» | Пошаговое решение проблемы |
| Записку от руки или старый рецепт | «Расшифруй этот текст» | Готовый напечатанный текст |
| График, суть которого не улавливаете | «Объясни в одной фразе, что здесь показано» | Тенденцию простыми словами |
| Меню на незнакомом языке | «Что здесь есть вегетарианское?» | Короткий переведённый список |
| Домашнее задание или задачу по математике | «Покажи, как это решить, шаг за шагом» | Решение, а не только ответ |
| Наряд, комнату, слайд презентации | «Что бы ты здесь изменил?» | Честную и конкретную обратную связь |
Для этого не нужны никакие особые приложения или настройки. Вы загружаете фото в чат, пишете вопрос рядом с ним — и всё.
Лучше всего работает для повседневных вопросов «что это?»
Классический вариант использования — простое любопытство. Насекомое на подоконнике, странный символ на бирке одежды, здание, мимо которого вы прошли в отпуске. Сфотографируйте, спросите «что это?» и через секунды получите отправную точку. Относитесь к ответу как к разумному предположению, а не как к истине в последней инстанции, особенно если речь о чём-то, что вы собираетесь съесть, тронуть руками или на что готовы положиться в вопросе безопасности. В таких случаях попросите ИИ оценить, насколько он уверен в ответе, и проверьте это сами.
Лучше всего работает для текста, который слишком мелкий или неразборчивый
Это скромный, но по-настоящему полезный сценарий. ИИ хорошо извлекает текст из изображения, включая почерк — а это раньше было по-настоящему сложной задачей. Неразборчивый почерк врача, бабушкин рецепт, чек из магазина, доска после совещания. Попросите «расшифровать текст точно как написано» — и получите готовый напечатанный текст, который можно искать, копировать или редактировать. С совсем неразборчивым почерком идеального результата не будет, но это всё равно быстрее, чем печатать вручную, а исправить придётся лишь несколько слов.
Лучше всего работает для скриншотов и технических проблем
Скриншоты — это тоже изображения, и именно здесь ИИ особенно полезен тем, кто не силён в технике. Столкнулись с непонятным сообщением об ошибке, экраном настроек, в котором не разобраться, или приложением, которое ведёт себя странно? Сделайте скриншот, вставьте его в чат и спросите, что делать. Поскольку ИИ умеет читать плотно заполненные экраны, он может указать на конкретную кнопку, которую вы упустили, вместо стандартного «а вы пробовали перезапустить». Если хочется попробовать самый простой вариант, инструмент анализа изображений от Chatday создан именно для этого: загружаете картинку и задаёте вопрос.
Как получить чёткий и полезный ответ
Как и везде в работе с ИИ, результат зависит от того, что вы предоставили. Качество ответа определяют два фактора, и оба зависят от вас.
Первое — само фото. Чёткий, хорошо освещённый снимок с близкого расстояния всегда лучше тёмного и снятого под углом. Если важна только таблица с составом, кадрируйте так, чтобы в кадре была только она. Блики на экране или этикетке — самая частая причина, по которой ИИ неправильно читает текст, поэтому наклоните камеру, чтобы убрать отражение. ИИ способен работать только с тем, что реально видно на пикселях.
Второе — сам вопрос. «Что это?» даёт расплывчатый ответ. «Что это, и безопасно ли будет дать это собаке?» даёт именно тот ответ, который вам нужен. Расскажите, кто вы и почему спрашиваете. Фраза «У меня аллергия на молочные продукты, есть что-то в этом меню, чего мне стоит избегать?» превращает стену незнакомого текста в короткий список из двух пунктов. Чем конкретнее вопрос, тем полезнее ответ.
Где компьютерное зрение ИИ пока ошибается
Теперь честная часть, потому что инструмент, которому доверяют слепо, рано или поздно подведёт. Умение ИИ читать изображения по-настоящему полезно, но у него есть реальные слабые места.
ИИ может уверенно ошибаться. Он выдаст чёткий, уверенно звучащий ответ, даже если неправильно прочитал изображение, и почти никогда сам не скажет «я не уверен», если не спросить об этом прямо. Это та же самая чрезмерная уверенность, из-за которой чат-боты уверенно выдумывают факты в текстовых ответах, и с фото происходит то же самое. Точные цифры — частая ловушка: ИИ может правильно понять тенденцию на графике, но ошибиться в конкретном значении, поэтому не переносите точные цифры из изображения без самостоятельной проверки.
Есть и другие ограничения, которые стоит учитывать. ИИ может неправильно прочитать небрежный почерк или размытый снимок. Он не врач, не юрист и не бухгалтер, поэтому фото высыпаний на коже, договора или медицинского снимка требует консультации настоящего специалиста, а не догадки чат-бота. И по соображениям приватности хорошие модели не называют имя конкретного незнакомого человека по фотографии — это особенность, а не недостаток.
Какой ИИ лучше всего читает изображения?
Честно говоря, все крупные модели сейчас справляются с этим хорошо, и главное значение имеют ваше фото и ваш вопрос, а не бренд модели. Тем не менее у них есть немного разные сильные стороны. Одни лучше работают с плотными скриншотами и документами, другие — с быстрыми повседневными вопросами «что это?». Единственный способ понять, что подходит именно вам, — дать одно и то же фото нескольким моделям и сравнить результат. Если хочется сравнить две модели напрямую, можно посмотреть их рядом в компараторе.
Коротко о смежных задачах. Если ваше «изображение» на самом деле длинный документ, например договор или научная статья, результат будет лучше, если загрузить файл и воспользоваться функцией чат с PDF: она читает все страницы, а не одно фото. А если проблема в самом снимке — он выцвел, повреждён или в низком разрешении — это уже другая задача: ИИ также умеет восстанавливать и приводить в порядок старые фотографии, а не только читать их.
Главное
В следующий раз, когда вы будете вглядываться в этикетку, застрянете на сообщении об ошибке или уставитесь на график, будто написанный на другом языке, не тратьте время на то, чтобы описывать увиденное словами. Просто покажите фото ИИ и задайте вопрос. Он разберёт мелкий шрифт, расшифрует скриншот, распознает почерк и объяснит график — всё простыми словами и за несколько секунд. Помните о реальных ограничениях, перепроверяйте всё важное, и у вас появится по-настоящему полезный навык, который ничего не стоит попробовать.