18.2 2024：视频和 3D 来了

如果说 2023 年是”一句话生成图片”，2024 年就是”一句话生成视频”。这一年，AI 学会了理解运动和时间。

从图片到视频：为什么这一步很难

生成一张静态图片，AI 只需要处理空间信息——颜色、形状、光影。生成一段视频，AI 还必须处理时间——这一秒和下一秒之间，物体怎么动、光影怎么变、人物怎么保持同一张脸。这好比从”画一张照片”升级到”拍一部电影”：多了一整个维度，难度大了十倍不止 ¹。

2024 年的四个关键事件

Sora 的震撼展示（2024 年 2 月）。OpenAI 发布了 Sora 的演示视频，输入”一只金毛在雪地里追着红色皮球跑”，输出一段逼真的视频——毛发的质感、雪地的反光、皮球的弹跳，都像真的一样。更关键的是，Sora 展示出了一种”世界理解”的雏形：它知道金毛有四条腿、知道球弹起来会落下、知道雪是白色的。Sora 把视频切成时空补丁（spacetime patches）——就像 GPT 把文字切成词元一样，Sora 把视频切成一个个三维小块，用跟 GPT 同样的 Transformer 架构来学习这些小块之间的关系 ²。但 Sora 在 2024 年并未向公众开放——它更像一个技术宣言，告诉大家视频生成的路走通了。

Runway Gen-3 Alpha 向创作者开放（2024 年 7 月）。如果说 Sora 是展览馆里的概念车，Runway 就是你能买到的量产车。Gen-3 Alpha 在画面保真度和人物表情上做到了当时的最高水平——它能生成自然的人类动作和面部微表情，不再是”恐怖谷”里那种吓人的僵硬脸 ³。更重要的是，Runway 提供了创作者真正需要的工具：Motion Brush（在画面上涂抹来控制哪里动、怎么动）、导演模式（控制镜头角度和构图）、以及首尾帧控制（用两张图定义视频的开始和结束）。

快手可灵：中国的 Sora 时刻（2024 年 6 月）。快手推出了可灵（Kling），成为全球第一个真正对公众开放的高质量视频生成模型。上线一个月内超过 100 万人申请使用，生成 700 万条视频 ⁴。可灵在中文语义理解上明显优于海外产品——你说”古风少女在竹林里舞剑”，它理解”古风”和”竹林”应该怎么呈现。这是一个重要的信号：AI 创作工具不再是硅谷独享，中国公司跟上了。

Midjourney V6 让图片”能写字了”（2024 年）。之前 AI 生成的图片里，文字总是乱码——是歪歪扭扭的假字。V6 第一次让图片里出现准确的英文和数字。同时推出的 —cref（角色参考）功能，让你上传一张角色图，后续生成的所有图片都保持同一张脸——这对做漫画、故事板、品牌设计的创作者来说是质的改变 ⁵。V6.1 在 2024 年 7 月发布，生成速度提升 25%，手部细节（“手指不多不少”这个老大难问题）进一步优化。

视频生成的注意事项

2024 年的视频生成有一条铁律：一致性比画质更难。AI 可以生成 5 秒惊艳的画面，但生成 30 秒时，角色的衣服可能变色、背景的家具可能消失。因为 AI 并不真正”理解”物体——它只是在概率上”猜”下一帧应该长什么样。这就像让一个人闭着眼画一部动画：第一张很好，画到第十张时记忆就模糊了。

另外，所有视频模型在物理模拟上都有短板。杯子掉地上会不会碎？水倒进杯子里会不会溢出？这些对一个 5 岁小孩来说显而易见的物理常识，对 AI 来说仍然是难题。

关联

• AI 编程的三年演变 — 同样在 2024 年，AI 编程从”帮你补代码”走向”跟你聊着写”
• 18.3 2025：语音和音乐爆发 — 2025 年，AI 学会了”听”和”唱”
• 项目一：用 AI 做一个个人主页 — 视频生成的”输入一句话出结果”思路，和 AI 编程工具的体验是相通的

---

← 上一节：18.1 2023：图像生成爆发 ｜ 下一节：18.3 2025：语音和音乐爆发 →

注释

1. Tim Brooks, “Sora: Creating video from text”, OpenAI, 2024年2月, https://openai.com/index/sora/ ↩

2. OpenAI, “Video generation models as world simulators”, 2024年2月, https://openai.com/index/video-generation-models-as-world-simulators/ ↩

3. Runway, “Introducing Gen-3 Alpha”, 2024年6月, https://runwayml.com/research/introducing-gen-3-alpha ↩

4. 快手, “可灵AI产品发布”, 2024年6月, https://klingai.kuaishou.com ↩

5. Midjourney, “Version 6”, 2023年12月发布, 2024年广泛采用, https://updates.midjourney.com ↩