17.9 语音与音频：听和说的 AI

17.9.1 语音识别（ASR）

Whisper（2022）：OpenAI 发布的语音识别模型。支持 99 种语言，嘈杂环境也能用，开源免费。Whisper 用 68 万小时的多语言语音数据训练，采用编码器-解码器 Transformer 架构。Whisper 的关键创新：多任务训练——同时做语音识别（语音→文字）、语音翻译（语音→另一种语言的文字）、语言识别、语音活动检测。

Whisper v3（2023）：更大的模型，更好的多语言支持。Whisper large-v3 在大多数语言上达到或接近人类水平。

Whisper v4（2025）：进一步改进，支持实时流式识别（streaming，边说边识别，延迟 < 100ms），支持说话人分离（区分”谁在说话”），支持情感识别（从语音中识别情感）。

17.9.2 语音合成（TTS）

ElevenLabs（2023）：录一分钟你的声音，就能用你的声音读任何文字。语音合成从”机器人的声音”变成了”几乎和真人一样”。

ChatTTS（2024）：开源的中文语音合成模型，支持对话式语音合成——生成的语音有自然的韵律、停顿、语气变化。ChatTTS 的突破是让语音合成从”朗读”变成了”说话”。

Bark（2023）：Suno 发布的开源语音生成模型，支持多语言、音乐、音效、笑声、叹息等非语言声音。Bark 的一个关键创新是让语音合成不再是”朗读文字”，而是”生成音频”——模型可以生成笑声、叹气、音乐片段等非语言声音。

17.9.3 语音对话（Full-Duplex Voice）

GPT-4o（2024）引入了”全双工语音对话”——你可以随时打断 AI，AI 也能随时插话。这在技术上是巨大的挑战：

• 延迟：从你说话到 AI 回应，延迟必须 < 300ms（接近真人对话的 200ms）。GPT-4o 做到了 232ms（平均），GPT-5.5 进一步降到约 150ms。
• 打断处理：AI 需要在你说话的过程中持续监听，判断你是否要打断它。这需要实时处理音频流，而不是”等你说完再回复”。
• 情感和语气：AI 的语音需要有自然的情感表达——高兴时语气上扬，抱歉时语气低沉。GPT-5.5 的语音合成已经能根据上下文自动调整语气。

17.9.4 音乐生成

Suno v5（2025）：从文字描述生成完整歌曲（包括歌词、旋律、编曲、人声）。Suno 的突破是生成了”听起来像真人在唱歌”的音频——有人声、有情感、有编曲层次。Suno v5 支持更长的歌曲（5 分钟+）、更丰富的风格、更好的音质。

Udio v2（2025）：前 Google DeepMind 员工创立的音乐生成工具。Udio 的音质在某种程度上优于 Suno——更清晰的人声、更丰富的编曲细节。Udio v2 支持用户上传音频片段作为参考（“生成像这样的歌”）。

2026 年音乐生成的状态：AI 生成的音乐在质量上已经接近专业制作水准，但在创意和情感表达上仍不如人类作曲家。音乐生成的主要应用场景是：短视频配乐、游戏背景音乐、广告音乐、个人创作辅助。

17.9.5 音频理解

除了语音识别，AI 还能理解更广泛的音频：

• 环境音识别：识别”这是雨声”、“这是汽车引擎声”、“这是婴儿哭声”
• 音频事件检测：在音频流中定位特定事件（“警报声在第 12 秒响起”）
• 音乐分析：识别歌曲的调性、节奏、和弦进程、乐器组成
• 音频生成：从文字描述生成音效（“科幻电影里的激光枪声”）和背景音乐

---

← 上一节：17.8 视频理解与生成：2026 年最热的前沿 ｜ 下一节：17.10 多模态 Agent：能看、能听、能做的 AI →