17.14 多模态的局限性

17.14.1 幻觉

多模态 AI 也会”胡说八道”。你给它看一张普通的街景照片，它可能说”画面中有三个人在遛狗”——但实际上只有两个人。这是因为模型在生成描述时，语言模型部分的”补全”能力过度发挥了。

17.14.2 偏见

训练数据中的偏见会被模型继承。如果训练数据中”CEO”的图片大多是男性，模型在看到女性照片时可能更倾向于生成”秘书”或”助理”相关的描述。这是所有 AI 的共同问题，多模态因为涉及多种模态，偏见可能以更隐蔽的方式出现。

17.14.3 计算成本

多模态模型的计算量远大于纯文本模型：

• 一张 1024×1024 的图片 ≈ 3M 像素 → 编码后约 256 个 token，但实际计算量远超 256 个文本 token
• 一分钟视频 ≈ 1440 帧（24fps）→ 即使只采样关键帧，计算量也是单张图片的几十倍
• 实时语音对话需要同时处理音频输入、文本生成、音频输出，延迟要求极高

17.14.4 隐私与安全

多模态意味着 AI 能”看到”和”听到”更多。你给 AI 看一张照片，它可能识别出照片中的地理位置、人脸、甚至屏幕上的文字。这些信息的上传和处理涉及隐私问题。2026 年，各厂商在本地处理（on-device）方面投入巨大——让 AI 在你的手机上处理图片，而不是上传到云端。

---

← 上一节：17.13 多模态应用场景 ｜ 下一节：章首 →