17.13 多模态应用场景

多模态 AI 的应用已经从”能做什么”变成了”已经在做什么”。2026 年，以下四个方向是最成熟也最值得关注的。无论你是普通用户还是开发者，这些场景都可以今天就用起来。

17.13.1 图像描述与视觉问答

给 AI 一张图片，问它问题。这是多模态最基础也最成熟的应用。

• 医疗：上传 X 光片，AI 辅助识别异常区域
• 电商：上传一件衣服的照片，AI 帮你找同款
• 教育：上传一道数学题的照片，AI 看懂题目并给出解答

17.13.2 文档理解

PDF、扫描件、手写笔记——AI 能看懂并提取结构化信息。

• 上传一份合同扫描件，AI 提取关键条款
• 上传一张表格的照片，AI 转换成可编辑的 Excel
• 上传手写笔记，AI 识别并整理成结构化文档

17.13.3 视频理解

不是”看一帧”，而是”理解一段时间里发生了什么”。

• 监控视频分析：AI 自动标记异常事件
• 体育比赛回放：AI 自动生成精彩片段摘要
• 会议记录：AI 观看会议录像，生成会议纪要

17.13.4 实时多模态交互

2026 年，AI 可以同时”看”、“听”、“说”。这是多模态从”工具”变成”伙伴”的关键一步。

• 戴着 AI 眼镜，AI 实时告诉你面前的人是谁、路怎么走
• 视频通话中，AI 实时翻译对方的语言并合成口型
• 烹饪时，AI 看着你的操作，提醒你”该翻面了”

对于如何从零搭建这些应用，详见 17.11 节 的完整技术栈指南。

---

← 上一节：17.12 2026 年主流多模态模型对比 ｜ 下一节：17.14 多模态的局限性 →