22.6 多模态模型一览

概念

多模态（multimodal）指 AI 不止能处理文字，还能理解和生成图像、语音、视频等多种信息形式。就像人类不仅会读书写字，还会看图、听声音、看视频 — 多模态模型让 AI 也具备了这些”感官能力”。

如果纯文本模型相当于只能打电话的座机，多模态模型就是智能手机：能拍照、能录音、能看视频，还能把所有这些能力综合起来。你拍一张菜单的照片，模型能直接告诉你推荐什么菜；你发一段会议录音，模型能生成纪要；你描述一个画面，模型能画出来。¹

教学：四大领域总览

视觉语言（Vision-Language）

视觉语言模型让 AI “看懂”图片。你把一张图表发给它，它能理解数据趋势；你把一段代码截屏发给它，它能帮你 debug。2026 年旗舰闭源模型（GPT-5.5、Gemini 3.5 Pro、Claude Opus 4.8）的视觉理解能力已经非常成熟，能处理多页 PDF、复杂图表甚至手写笔记。开源方面，LLaVA 是学术界的经典视觉语言模型，Qwen-VL（阿里通义千问视觉版）在多语言场景表现出色。²; ³

图像生成

图像生成是 2026 年 AI 最成熟的创造力领域之一。只需一段文字描述，模型就能生成高质量的图片。DALL-E 3 内置于 ChatGPT，上手门槛最低；Midjourney V6 以艺术质感和细节表现力领先；Stable Diffusion 3.5（简称 SD 3.5）完全开源，可以在本地运行，不依赖云服务；Flux 是 Black Forest Labs（Stable Diffusion 原团队出走创业）推出的新一代模型，在文字渲染和构图上有显著提升。

语音识别（ASR）

语音识别让 AI “听懂”人说话。Whisper Large v3 是 OpenAI 的开源语音识别模型，支持近百种语言，准确率在英语上接近人类水平。WhisperX 是 Whisper 的增强版 — 加了说话人识别（能区分”谁说了什么”）和时间戳对齐（精确到每个词的起止时间），非常适合会议转写场景。

视频生成

视频生成是 2026 年最前沿但也最不成熟的领域。OpenAI 的 Sora 能根据文字描述生成一分钟左右的高质量视频，Runway Gen-3 则在电影级视频编辑和特效生成上领先。目前视频生成的计算成本和生成时间仍然是主要瓶颈 — 生成一分钟高质量视频可能需要几分钟到几十分钟。开源替代方案尚不成熟，这也是为什么表格中开源首选一栏留空。

速查表

注意事项

多模态不等于无所不能。 同一个模型在文字推理上很强，不代表它在看图时同样精准。2026 年的现实是：视觉理解能力大约相当于文本理解能力的 70% 到 80%，而在图表阅读、医学影像等专业领域差距更大。关键任务需要人类复核。

闭源和开源的成本差巨大。 图像生成 1000 张图片，用 DALL-E 3 大约 40 美元，而用 SD 3.5 本地生成成本几乎是零（只算电费和显卡折旧）。如果你的用量大且对艺术风格要求不极端，开源自部署是更经济的选择。

视频生成还在”玩具”阶段。 尽管 Sora 的演示惊艳，但实际使用中的可控性（怎么让同一角色在多个场景中保持一致外貌？怎么精确控制镜头运动？）仍然是未解决的难题。2026 年的视频生成更适合创意灵感和概念验证，距离完全替代专业影视制作还有距离。

关联

• 视觉模型详细解析：见 第17章：视觉与多模态
• 多模态 RAG（图文混合检索）：见 22.5 RAG 技术栈
• 多模态模型在全栈中的位置：见 22.1 全栈架构
• 推理引擎如何加速多模态模型：见 22.2 推理引擎

← 上一节：22.5 RAG 技术栈 ｜ 下一节：章首 →