19.4 Whisper架构详解

Whisper是OpenAI开源的语音识别模型，2022年发布，2026年已迭代到v4版本。它把语音识别做成了”翻译任务”——输入音频，输出文字。

架构：编码器-解码器

• 编码器：音频切成30秒的片段，每个片段转成80维的梅尔频谱图（一种模拟人耳听觉特性的音频表示——低频给更多分辨率，高频给更少，和人耳对低频更敏感的特性一致）。经过两层1D卷积降采样后，输入Transformer编码器。
• 解码器：标准Transformer解码器，自回归地生成文字token。和GPT的区别是：Whisper的解码器在生成每个token时，都会”看”编码器的音频特征（交叉注意力）。
• 输出：直接输出文字token，不需要额外的CTC解码或语言模型纠错。

多语言能力：Whisper v4支持100+语言。关键设计是”语言token”——在解码器输入的最开头放一个特殊token（如 <|zh|> 表示中文），模型就自动切换到对应语言。所有语言共享同一个模型，不需要每种语言单独训练。训练数据68万小时，覆盖100+语言的真实语音数据（不是合成数据）。

时间戳：Whisper不仅输出文字，还输出每个词的时间戳（精确到0.01秒）。这通过让模型预测”下一个词开始的时间”实现，而不是后处理对齐。对于字幕生成、视频编辑等场景，时间戳是刚需。

2026年Whisper v4的改进：支持流式识别（边说边出字，延迟低于200ms）、说话人区分（自动标注”说话人A”、“说话人B”）、噪声鲁棒性大幅提升（在嘈杂环境下的错误率降低了40%）。

---

← 上一节：19.3 ViT：Transformer 怎么看图 ｜ 下一节：19.5 TTS技术演进 →