17.1 什么叫"多模态"

概念：AI 的五官

“模态”在 AI 里就是”信息的形式”——文字是一种模态，图片是另一种，声音又是另一种。就像人有眼睛看、耳朵听、嘴巴说，每种感官对应一种信息通道。

单模态 AI 只能处理一种形式的信息。比如最早的 ChatGPT 只能处理文字——你给它发图片，它看不到，就像一个人只能用文字聊天但不能看照片。¹

多模态 AI 能同时处理多种形式的信息。GPT-5.5 可以看懂你发的照片、听到你说话的语气、用自然的语音回复你——三种模态一起工作。到 2026 年，多模态已经不再是”加分项”，而是所有主流 AI 的标配：文本、图像、语音、视频、代码，五种模态在同一个系统里协同运作。²

可以用一个生活比喻来理解：单模态 AI 像一个优秀的钢琴独奏家，只精通一种乐器；多模态 AI 像一支完整的乐队，钢琴、鼓、人声、吉他同时演奏，彼此配合，产生远比独奏丰富的效果。³

教学：信息是怎么被”一起理解”的

多模态 AI 的工作流程可以概括为三步：

第一步：各自编码。每种模态有自己专门的”翻译器”。图片用 ViT（Vision Transformer，视觉变换器）编码成向量，文字用 Transformer 编码成向量，语音用 Whisper 之类的模型转成文字再编码。就像联合国的同声传译——每个语种的翻译先把各自语言转成通用的中间表示。⁴

第二步：信息融合。所有模态的向量被映射到同一个”理解空间”里。在这个空间中，“猫的照片”的向量和文字”一只猫”的向量距离很近，而和文字”一辆汽车”距离很远。这个融合过程是 17.2 节详细讨论的核心挑战——模态对齐。

第三步：统一输出。融合后的信息送入大语言模型，由它决定是生成文字回答、还是调用图像生成工具、还是触发语音合成。就像乐队指挥听完各声部后决定下一步演奏什么。

这里有一个关键细节：多模态 AI 内部并不是”一个模型做所有事”，而是多个专门模型在背后分工——视觉模型负责看图，语音模型负责听话，大语言模型负责理解和生成文字，一个调度器决定什么时候用哪个模型。你感觉不到切换，因为调度器做得很快，像无缝衔接。⁵

注意事项：不是”眼睛+耳朵”那么简单

把多个模态拼在一起，比你想象的要困难得多。

不同模态的粒度不同。文字是离散的（一个字一个字地读），图片是连续的（整张图一次性看完），语音还有时间维度（一秒一秒地听）。怎么让这些”节奏”不同的信息在同一个时刻被理解，是架构设计的核心难题。

冗余信息会干扰判断。一张猫的照片里，猫只占画面的 20%，其余是背景、光线、角度。AI 需要学会忽略背景噪音，只关注”猫”本身。这就像在嘈杂的咖啡馆里只关注对面朋友说的话——人类天生会做，但 AI 需要大量训练才能学会。

看和说的组合不等于理解。早期的多模态系统只是”看图模块 + 语言模块”的简单拼接，两者之间没有真正的交互。2026 年的多模态模型已经能做到跨模态推理——比如从一张冰箱内部照片推理出”这些食材能做什么菜”——但距离人类水平的跨模态理解还有相当距离。⁶

关联：从概念到深入

• 17.2 多模态的核心挑战：模态对齐 — 怎么让文字和图片在同一个向量空间里”对齐”
• 17.3 多模态的四大核心挑战 — 融合、缺失、迁移三大挑战
• 17.4 看图：CLIP 和视觉模型 — CLIP 是如何让 AI “看懂”图片的
• 概念：CLIP — CLIP 的对比学习原理深度拆解
• 第14章 · Agent 是怎么工作的 — Agent 可以调度这些多模态工具
• 第18章 · AI 创作这三年 — 多模态在产品层的表现

---

← 上一节：章首 ｜ 下一节：17.2 多模态的核心挑战：模态对齐 →

注释

1. IBM, “What is Multimodal AI?”, 2024, https://www.ibm.com/think/topics/multimodal-ai ↩

2. Gartner 预测，到 2027 年 40% 的生成式 AI 系统将是多模态的，而 2023 年这一比例只有 1%。来源: Gartner, “Predicts 2024”, 2024 ↩

3. Codecademy, “Multimodal Models”, 2024, https://www.codecademy.com/resources/docs/ai/multimodal-models ↩

4. Hangloo & Arora, “Multimodal fusion techniques”, Neurocomputing, 2025, https://www.sciencedirect.com/science/article/abs/pii/S0925231225014997 ↩

5. An et al., “Towards LLM-Centric Multimodal Fusion: A Survey on Integration Strategies and Techniques”, arXiv, 2025, https://ar5iv.labs.arxiv.org/html/2506.04788 ↩

6. Wu et al., “A Comprehensive Survey on Deep Multimodal Learning with Missing Modality”, arXiv, 2024, https://ar5iv.labs.arxiv.org/html/2409.07825v1 ↩