什麼是多模態 AI？一次用白話講清楚
作者 Chatday Editorial Team ·
不久之前，用 AI 就是打字問問題，然後等它回你文字，像是在跟一個很聰明的筆友通信。後來事情變了，現在你可以直接給它看一張照片、開口跟它說話，或是請它幫你畫一張圖。這個轉變有個聽起來比實際上嚇人的名字:多模態 AI。
把術語拿掉，它的意思其實很單純:AI 能處理不只一種類型的資訊。文字當然算，但也包括圖片、聲音和影片。差別就像是一個只能讀你從門縫塞進去的紙條的助理，和一個真的能看、能聽、能說話的助理。接下來就用白話說明，這對你來說到底代表什麼。
「模態」到底是什麼意思
「模態」指的就是一種資訊類型。文字是一種模態，照片是另一種，你的聲音是另一種，影片也是另一種。以前的 AI 是單模態:輸入文字、輸出文字。多模態 AI 則能同時接收並處理好幾種模態。
可以想像成一個人。你不會只靠閱讀，你會看地圖、聽別人指路、看人示範動作，然後開口回應。多模態 AI 就是想讓軟體也擁有這樣的綜合感官，讓你能用最自然的方式跟它溝通，而不只是打字。
它到底能幫你做什麼
這才是有趣的部分，因為這些日常用法真的很方便:
- 拍照直接問。 拍一張冰箱內部的照片問「這些食材能煮什麼？」，或是拍植物、皮膚上的紅疹、儀表板上奇怪的警示燈、課本上的數學題都可以。
- 翻譯真實世界的文字。 拍一張外文菜單或路標的照片，馬上就能翻譯給你看。
- 開口說話，不用打字。 你可以完全不動手，像真人對話一樣一來一回。
- 用文字生成圖片。 描述你想要的畫面，AI 就能畫出來，這本身就是一個充滿創意的領域，詳情可以參考我們整理的最佳 AI 圖片生成工具。
- 看懂截圖。 貼上一張看不懂的錯誤訊息或圖表，問它是什麼意思。
共同的重點是:你不再侷限於用文字描述事情，而是可以直接拿給 AI 看。
各種模態，以及它們能做到的事
以下快速整理「多模態」涵蓋哪些範圍，以及每種模態各有什麼用途。
| 模態 | 代表意義 | 適合用途 |
|---|---|---|
| 文字 | 閱讀與寫作 | 提問、草稿、摘要 |
| 圖片(輸入) | 理解你給它看的圖片 | 「這是什麼？」、翻譯路標、看懂截圖 |
| 圖片(輸出) | 用文字生成圖片 | 插畫、設計草稿、社群貼文 |
| 聲音 | 聽與說 | 免動手對話、語音轉文字、語音筆記 |
| 影片 | 理解動態畫面 | 說明一段影片、整理發生了什麼事 |
不是每個模型都支援所有模態，有些模型在某方面比較強，但趨勢很明顯:頂尖模型愈來愈能同時支援大部分這些功能，而且是預設就有。
為什麼這比聽起來更重要
多模態不只是噱頭，它改變了 AI 能幫助誰。打出一段詳細的提示詞需要技巧，對很多人來說是門檻，但拿起手機對著東西拍就完全不用。小孩、長輩、正在趕時間的人，任何人都能拍張照就直接發問。
這也讓 AI 更懂得如何幫上忙，因為背景資訊愈完整，答案就愈準確。用嘴巴描述一個問題是一回事，直接讓它看到實際狀況又精準得多。這種能吸收更完整資訊並加以推理的能力，也呼應了現代 AI 在回答前先思考這個更大的轉變。
多模態 AI 的極限在哪裡
它很厲害，但不是萬無一失。AI 可能會看錯模糊的照片，在吵雜的環境中聽錯一個字，或是很有自信地認錯東西。它也可能把手寫的總金額看錯，或把路標上的一句難翻的話翻錯。
所以原則跟以前一樣:應付日常、風險不高的事情很好用，但重要的事一定要再確認。如果它幫你翻譯藥品標籤、法律通知或餐廳帳單，使用前務必再三檢查。把它的「眼睛」和「耳朵」當成很優秀但不完美的工具就好。想看看不同模型面對同一張照片或問題會怎麼回答？可以到模型比較工具裡比較看看。
總結
多模態 AI 說到底就是「擁有感官的 AI」。它能看你給它看的東西、聽你說的話，並用文字或圖片回答你。這讓它從一個你必須用文字描述的輸入框，變成一個你可以直接指向這個世界的助理。想真正搞懂它，最簡單的方法就是親自試試看:給它看一張照片，然後問個問題。