17.8 视频理解与生成：2026 年最热的前沿

17.8.1 视频理解：不只是”看一帧”

视频理解比图像理解难得多——需要理解时间维度上的变化和因果关系。

Video-LLaMA（2023）：将视频理解融入 LLM 的早期尝试。用 ViT 编码视频帧，用 Q-Former 将视频特征压缩成少量 token，送入 LLM 生成回答。支持视频问答、视频摘要、视频描述。

VideoChat（2023）：中科院提出的视频对话模型。关键创新：用视频描述数据（video-text pairs）和指令数据（video-instruction pairs）联合训练，让模型既理解视频内容，又能进行对话。

2026 年视频理解的代表性能力：

• 一小时视频理解：Gemini 3.5 Pro 可以分析一小时视频，回答”第 23 分钟发生了什么”、“总结前 30 分钟的内容”
• 视频推理：不只描述”看到了什么”，还能推理”为什么这个人要这样做”、“接下来会发生什么”
• 视频搜索：用自然语言搜索视频中的特定片段（“找到那个穿红衣服的人第一次出现的时刻”）

17.8.2 视频生成：从 Sora 开始的革命

Sora（2024.2）：OpenAI 展示的视频生成模型，输入一段文字，输出一段逼真的视频。Sora 的核心创新是将扩散模型和 Transformer 结合——用扩散模型在”时空潜空间”（spacetime latent space）中生成视频，用 Transformer 建模时空关系。Sora 展示的视频展现了令人惊讶的”物理理解”——物体怎么运动、光影怎么变化、液体怎么流动。

Sora 2（2025）：大幅提升生成质量和时长。支持从图片扩展为视频、视频编辑（替换视频中的物体）、视频风格转换。关键突破：一致性——长视频中的人物和物体保持一致，不会出现”Sora 1 中人物走了几步就变成另一个人”的问题。

Runway Gen-4（2025）：Runway 是视频生成商业化的先驱。Gen-4 支持更精细的视频控制——运动笔刷（Motion Brush，控制特定区域的运动方向）、相机控制（模拟推拉摇移等运镜）、视频风格化。Runway 面向影视制作专业人士，已经有多部电影和广告使用了 Runway 生成的视频。

Kling 2 / 可灵 2（2025）：快手推出的视频生成模型，中文社区最流行的视频生成工具。Kling 2 在人物一致性、中国元素理解、长视频生成上表现突出。支持从图片生成视频（图生视频）和视频延长。

Pika 2.0（2025）：Pika Labs 的产品，面向普通用户。以易用性著称——在网页上输入文字就能生成视频，不需要任何技术知识。Pika 2.0 支持视频编辑（替换背景、添加特效）、唇形同步（Lip Sync，让生成的人物说话）。

17.8.3 2026：视频生成走向实用

2026 年视频生成的关键挑战：

• 物理世界建模：理解重力、碰撞、流体、光影的物理规律，而不是仅仅”看起来像”
• 长视频一致性：10 分钟视频中，角色、场景、风格保持一致
• 可控性：导演能精确控制画面中的每一个元素
• 成本：生成一分钟高质量视频需要几十到几百美元的 GPU 成本

← 上一节：17.7 图像生成模型详解：从 VAE 到扩散模型 ｜ 下一节：17.9 语音与音频：听和说的 AI →