17.10 多模态 Agent：能看、能听、能做的 AI

2026 年，多模态 AI 不再只是”能看能说”——它能做。

17.10.1 多模态 Agent 的核心能力

多模态感知：同时处理视觉、语言、音频输入，理解完整的场景。比如戴着 AR 眼镜，Agent 能看到你面前的人、听到对方说话、理解你当前的上下文。

多模态工具使用：Agent 不仅能理解多模态输入，还能操作多模态工具：

• 看到一张截图 → 调用图像编辑工具修改它
• 听到一段语音 → 调用语音识别转文字 → 调用翻译 API → 调用 TTS 输出翻译后的语音
• 看到一段代码的截图 → 提取代码 → 在 IDE 中打开 → 修改代码

多模态推理：结合视觉和语言信息做决策。比如：

• 看到冰箱里的食材 + 知道你的饮食偏好 → 规划晚餐菜单 → 生成购物清单
• 看到房间照片 + 知道你的预算 → 推荐家具 → 生成摆放方案
• 看到路况照片 + 知道你的目的地 → 规划路线 → 语音导航

17.10.2 2026：全能型多模态 Agent

2026 年的多模态 Agent 已经具备以下能力：

• 实时视觉理解：通过摄像头实时理解周围环境（AR 眼镜、机器人、自动驾驶）
• 自然语音交互：全双工语音对话，能打断、能插话、能表达情感
• 跨模态行动：从”看到问题”到”动手解决”——比如看到代码报错截图 → 定位错误文件 → 修复代码 → 运行测试
• 记忆与上下文：记住之前的对话和视觉场景，在长期交互中保持一致性

代表性产品：

• GPT-5.5 + 实时视觉：OpenAI 的旗舰多模态 Agent，支持实时视频理解 + 语音对话
• Gemini 3.5 Pro + Project Astra：Google 的 AR 眼镜 Agent，实时理解所见所闻
• Meta Ray-Ban + AI：Meta 的智能眼镜，集成多模态 AI 助手

---

← 上一节：17.9 语音与音频：听和说的 AI ｜ 下一节：17.11 2026 多模态技术栈：从零搭建多模态应用 →