Ch17 多模态AI修订于 二〇二六年七月二日
17.6 视觉语言模型（VLM）详解：从看图到对话
CLIP 只能判断”图片和文字是否匹配”，不能真正”理解”图片并回答问题。VLM（Vision-Language Model）填补了这个空白——它既能看，又能说。
17.6.1 LLaVA（Large Language and Vision Assistant，2023）：VLM 的 GPT 时刻
LLaVA 是第一个真正开源好用的 VLM，架构极其简洁：
图像 → CLIP ViT-L（视觉编码器）→ 投影层（MLP）→ LLM（如 LLaMA/Vicuna）→ 文字回答核心创新：
- 视觉编码器 + 投影层 + LLM 的三段式架构。视觉编码器（CLIP ViT）提取图像特征，投影层（一个简单的线性层或 MLP）将图像特征映射到 LLM 的 token 空间，LLM 将图像 token 和文本 token 拼接在一起，自回归生成回答。
- 训练数据由 GPT-4 生成：用 GPT-4 描述图片，生成”图片+对话”的训练数据。这是”用 AI 训练 AI”的早期成功案例。
- 两阶段训练：第一阶段只训练投影层（对齐视觉和文本空间），第二阶段微调投影层+LLM（学习指令跟随和对话）。
LLaVA 的演进：
- LLaVA-1.5（2023）：用更好的 CLIP 编码器（MLP 投影替代线性层），加入学术任务数据，性能大幅提升。
- LLaVA-NeXT（2024）：支持任意分辨率——将图片动态切分成多个子图，分别编码后拼接。解决了”高分辨率图片被压缩成固定大小导致细节丢失”的问题。
- LLaVA-OneVision（2024）：统一了单图、多图、视频的输入格式，一个模型处理所有视觉任务。
17.6.2 CogVLM（2023）：深度视觉语言融合
清华大学和智谱提出的 CogVLM，核心创新是深度视觉语言融合——不是简单地把视觉特征拼接到 LLM 输入，而是在 LLM 的每一层都加入视觉专家模块，让视觉信息和文本信息在每一层都做交叉注意力。
与 LLaVA 的对比：
- LLaVA：视觉特征只在输入端拼接一次，LLM 内部不再有视觉-文本交互
- CogVLM：LLM 的每一层都有视觉专家（Visual Expert），视觉信息和文本信息在每一层都做交叉注意力
- 结果：CogVLM 在细粒度视觉理解（如”图片中第三个人的左手在做什么”）上远超 LLaVA
17.6.3 开源 VLM 对比表（2026）
| 模型 | 开发者 | 参数量 | 视觉编码器 | LLM 骨干 | 核心优势 | 适用场景 |
|---|---|---|---|---|---|---|
| LLaVA-NeXT | 学术界 | 7B-34B | CLIP ViT-L | LLaMA-3/Vicuna | 任意分辨率，开源生态最好 | 通用视觉问答 |
| CogVLM2 | 清华/智谱 | 19B | EVA2-CLIP | LLaMA-3 | 深度视觉融合，细粒度理解 | 复杂图文分析 |
| InternVL-2.5 | 上海AI Lab | 1B-78B | InternViT | InternLM | 多尺度视觉，多尺寸可选 | 全场景覆盖 |
| MiniCPM-V | 面壁智能 | 2B-8B | SigLIP | MiniCPM | 端侧部署，小但强 | 手机/边缘设备 |
| Qwen-VL | 阿里 | 2B-72B | ViT-G | Qwen | 中文优化，文档理解强 | 中文场景 |
| GPT-5.5 | OpenAI | 未公开 | 自研 | GPT-5.5 | 综合最强，生态完善 | 通用 |
| Gemini 3.5 Pro | 未公开 | 自研 | Gemini | 超长上下文，原生多模态 | 视频/长文档 |
17.6.4 VLM 的技术挑战
- 幻觉：VLM 会”看到”图片中不存在的东西。原因：LLM 的语言先验过于强大——当图片特征模糊时，LLM 倾向于用语言知识”补全”。
- 高分辨率：一张 4K 图片有几百万像素，直接编码产生大量 token。LLaVA-NeXT 的动态切分、CogVLM 的多尺度编码都在解决这个问题。
- 多图理解：多张图片之间的关系（如”图1和图2有什么不同”）需要跨图注意力机制。
- OCR 精度：VLM 的 OCR 能力仍然不如专业 OCR 引擎。需要专门的 OCR 训练数据来提升。
← 上一节：17.5 CLIP 深度解析：多模态 AI 的基石 ｜ 下一节：17.7 图像生成模型详解：从 VAE 到扩散模型 →