17.7 图像生成模型详解：从 VAE 到扩散模型

你输入的描述怎么变成一张图片？这是 AI 领域最”看得见”的进步——从 2014 年的模糊小图，到 2026 年的照片级生成。

17.7.1 技术演进：VAE → GAN → Diffusion

VAE（变分自编码器，2014）：最早的生成模型之一。核心思想：把图片压缩到一个低维潜空间（latent space），然后从潜空间中采样并解码回图片。VAE 能生成图片，但生成的图片很模糊——因为它优化的是像素级重建误差，而不是”图片看起来真不真实”。

GAN（生成对抗网络，2014）：Ian Goodfellow 提出的革命性框架。两个网络互相博弈：生成器（Generator）生成假图片，判别器（Discriminator）判断图片是真还是假。生成器的目标是”骗过判别器”，判别器的目标是”不被骗”。这种对抗训练产生了比 VAE 清晰得多的图片。

GAN 的辉煌：StyleGAN（2018）能生成极其逼真的人脸（“This Person Does Not Exist”网站），BigGAN（2018）能生成高质量的 ImageNet 类别图片。但 GAN 有两个根本问题：

• 训练不稳定：生成器和判别器必须保持微妙的平衡。一方太强，训练就崩溃（mode collapse）。
• 模式坍塌（Mode Collapse）：生成器学会了”骗过判别器”但只生成少数几种图片——比如不管输入什么噪声，总是生成同一张脸。

扩散模型（Diffusion Model，2020-至今）：DDPM（Denoising Diffusion Probabilistic Models，2020）提出了一种全新的生成范式。不是用对抗训练，而是用逐步去噪。

扩散模型的工作原理：

1. 前向过程（加噪）：拿一张真实图片，逐步加入高斯噪声。经过 T 步（通常 T=1000），图片变成完全随机的纯噪声。
2. 反向过程（去噪）：训练一个神经网络（通常是 U-Net），学习如何从噪声中恢复图片——给定第 t 步的噪声图片，预测第 t-1 步的噪声少一点的图片。
3. 条件生成：在去噪过程中，把文字描述（通过 CLIP 文本编码器编码成向量）作为条件输入 U-Net。每一步去噪都参考文字描述，确保最终图片和描述一致。

为什么扩散模型击败了 GAN：

• 训练稳定（没有对抗博弈，只是简单的去噪回归任务）
• 多样性好（没有模式坍塌，因为目标不是骗过判别器）
• 条件控制灵活（文字、图片、草图都可以作为条件）

17.7.2 Stable Diffusion 详解：三大组件协同工作

Stable Diffusion 是目前最流行的开源图像生成模型，由三个核心组件组成：

1. VAE（变分自编码器）：负责压缩和重建。将一张 512x512x3 的图片压缩到 64x64x4 的潜空间（压缩比 48 倍），在潜空间中做扩散，最后解码回像素空间。潜空间扩散（Latent Diffusion）是 Stable Diffusion 的关键创新——在低维空间做扩散，计算量大幅降低。

2. CLIP 文本编码器：将文字描述编码成向量，作为条件注入 U-Net 的每一层（通过交叉注意力——Cross-Attention：U-Net 的中间特征作为 Query，文本编码作为 Key 和 Value，让图像的每个空间位置都能”关注”到相关的文字描述）。文本编码器是冻结的（不训练），使用预训练的 CLIP 文本编码器。

3. U-Net（去噪网络）：在潜空间中逐步去噪。U-Net 是一个编码器-解码器结构，中间有跳跃连接。每一步接收当前噪声潜变量、时间步 t、文本条件，预测应该去除的噪声。U-Net 是扩散模型中参数量最大的部分。

Stable Diffusion 的版本演进：

• SD 1.5（2022）：512x512 分辨率，基于 LAION 数据集训练。社区生态最丰富（ControlNet、LoRA、IP-Adapter 等都基于 SD 1.5）。
• SD 2.0（2022）：768x768 分辨率，但去掉了 NSFW 内容和艺术家名字，社区反响不佳。
• SDXL（2023）：1024x1024 分辨率，两个文本编码器（CLIP + OpenCLIP），更大的 U-Net。质量大幅提升，成为新的社区标准。
• SD3（2024）：引入 MMDiT（Multimodal Diffusion Transformer）架构——用 Transformer 替代 U-Net 做去噪，支持多模态条件（文字+图片）。文本理解能力大幅提升（拼写、组合性）。
• SD4（2026）：进一步扩展 MMDiT，支持原生 2K 分辨率生成，推理速度提升。支持视频生成和 3D 生成的统一架构。

17.7.3 商业图像生成产品

DALL-E 3（2023）：OpenAI 的产品，原生集成在 ChatGPT 中。核心优势是文本理解能力极强——能准确理解复杂的空间关系、文字拼写、艺术风格描述。DALL-E 3 用 GPT-4 改写用户的 prompt（prompt rewriting），让描述更详细、更结构化，然后送入扩散模型。2026 年，DALL-E 4 进一步提升了分辨率和生成速度。

Midjourney v7（2025）：最受设计师和艺术家欢迎的工具。Midjourney 的核心优势是美学质量——它生成的图片有一种电影感、艺术感，是其他工具难以复制的。Midjourney 用 Discord 作为交互界面，社区驱动。v7 支持角色一致性（character consistency）、场景复用、更精细的风格控制。

Flux 2（2025）：Black Forest Labs（Stable Diffusion 原团队）推出的新一代模型。Flux 1 在 2024 年发布时以 12B 参数（当时最大的开源生成模型）和极强的文本理解能力震惊了社区。Flux 2 在 2025 年进一步提升了生成质量和速度，支持实时交互式生成（<1 秒出图）。

17.7.4 2026 年图像生成格局

2026 年的关键趋势：

• 实时生成：从”等几秒”到”实时出图”，Stable Diffusion 4 的蒸馏版本（如 SD4-Turbo）可以在 <1 秒内生成 1024 图片
• 可控性：ControlNet、IP-Adapter、InstantID 等工具让用户可以精确控制构图、姿态、人脸、风格
• 视频生成的融合：图像生成和视频生成的界限越来越模糊——SD4 和 Flux 2 都支持从图片扩展为短视频
• 3D 生成的兴起：从单张图片生成 3D 模型（DreamFusion、Zero-1-to-3），2026 年质量已经接近实用

← 上一节：17.6 视觉语言模型（VLM）详解：从看图到对话 ｜ 下一节：17.8 视频理解与生成：2026 年最热的前沿 →