Ch19 多模态深度原理修订于 二〇二六年七月二日
19.2 扩散模型：怎么从文字生成图
扩散模型（Diffusion Model）的思路：先去噪，再生成。
正向扩散（训练阶段）：拿一张清晰的图片，逐步加噪声。加 1 步——轻微模糊。加 10 步——中度噪声。加 1000 步——完全变成纯噪声。模型学习”每一步加了多少噪声”。
反向扩散（生成阶段）：从纯噪声开始，逐步去噪。去噪 1 步——隐约有轮廓。去噪 100 步——能看到内容。去噪 1000 步——清晰的图片。
文字如何引导生成：去噪的每一步，模型参考文字描述来判断”这个像素应该是什么”。你输入”红色皮球”，模型在去噪过程中会偏向”圆形+红色”的像素模式。这叫做”条件扩散”——生成过程被文字条件约束 1。
Stable Diffusion 的改进：不是在像素空间做扩散（太慢），而是在压缩后的”潜在空间”（Latent Space）做。图片先被 VAE（变分自编码器，Variational Autoencoder——一种能把高分辨率图片压缩成紧凑的数学表示、再从这个表示还原出图片的神经网络，就像一个”智能压缩和解压工具”）压缩 8 倍，在压缩空间里做扩散，最后再解压回像素。速度提升 10 倍，效果几乎不变 2。
← 上一节：19.1 CLIP：怎么让 AI 看懂图 ｜ 下一节：19.3 ViT：Transformer 怎么看图 →
注释
-
Ho et al., “Denoising Diffusion Probabilistic Models”, 2020, https://arxiv.org/abs/2006.11239 ↩
-
Rombach et al., “Stable Diffusion”, 2022, https://arxiv.org/abs/2112.10752 ↩