概念-采样策略

一句话理解

AI 生成文本时，不是直接选概率最高的词，而是从概率分布中”采样”——Temperature、Top-K、Top-P 是三种控制”随机性”的策略，决定 AI 是保守还是创意。

为什么需要采样策略

AI 的输出是概率分布：每个可能的下一个 token 都有一个概率。如果每次都选概率最高的（贪婪解码），回答会非常机械、重复。采样策略让 AI 在”准确”和”多样”之间做权衡。

比喻：AI 面前有一盒糖果，每种糖果上标着”选我的概率”。贪婪解码 = 每次都拿概率最高的那颗（永远吃同一种）。采样 = 按概率随机抓一颗（有时吃到惊喜，有时吃到普通）。

三种策略

Temperature（温度）

调整概率分布的”尖锐程度”。在 Softmax 之前，把所有 logits 除以温度 T。

比喻：温度低 = 严格的老师，只让你走最稳妥的路。温度高 = 鼓励你发挥想象力的朋友。

Top-K

只保留概率最高的 K 个词，其他词的概率置为 0，然后从这 K 个词中采样。

• K=1：等价于贪婪解码（每次都选最好的）
• K=10：只在前 10 个候选词中选
• K=50：常见默认值，兼顾质量和多样性

局限：K 是固定的。如果概率分布很集中（前 3 个词占了 99%），K=50 会让很多无意义的词也进入候选；如果分布很分散，K=50 可能漏掉合理的候选。

Top-P（核采样 / Nucleus Sampling）

只保留概率从高到低累加到 P 的词。比如 P=0.9：从最高概率词开始累加，直到累计概率超过 0.9，只保留这些词。

• P=0.9：常见默认值，动态适应分布
• P=0.5：更保守，只保留最核心的词
• P=1.0：等价于不做 Top-P 限制

优势：自适应。概率分布集中时，可能只保留 2-3 个词；分布分散时，可能保留 50+ 个词。

2026 年默认配置

大多数 LLM（ChatGPT、Claude、DeepSeek）的默认采样策略组合：

相关笔记

• 3.2 概率统计：理解不确定性 — 概率分布基础
• 第10章 · LLM 原理与架构演进 — LLM 生成文本的完整流程
• Softmax 函数 — 把 logits 变成概率分布

来源

• Holtzman et al., “The Curious Case of Neural Text Degeneration” (Top-P / Nucleus Sampling), 2019, https://arxiv.org/abs/1904.09751
• Fan et al., “Hierarchical Neural Story Generation” (Top-K), 2018, https://arxiv.org/abs/1805.04833
• OpenAI, “How to use temperature in GPT models”, https://platform.openai.com/docs/guides/text-generation