推理模型 (Reasoning Models)

概述

推理模型 (Reasoning Models) 是 2024-2026 年间 LLM 领域最重要的范式创新。与传统 LLM 直接生成答案不同，推理模型在生成最终答案之前会先进行显式的、可解释的链式推理 (Chain-of-Thought)，模拟人类”先思考，再回答”的认知过程。这一范式的核心突破在于：将推理时的计算资源 (Test-Time Compute) 作为可扩展的维度，通过增加推理时间来提高答案质量，而不需要增大模型参数。

2025 年被广泛认为是”推理模型元年”，而到 2026 年，推理模型已成为所有主流 LLM 提供商的标配能力。

什么是推理模型

传统 LLM 的工作方式

用户: "一个农场有 15 只鸡和 8 只兔子，一共有多少条腿？"
    ↓
LLM 直接生成: "一共有 62 条腿。"
    ↓
（可能正确，也可能错误，没有中间推理过程）

推理模型的工作方式

用户: "一个农场有 15 只鸡和 8 只兔子，一共有多少条腿？"
    ↓
推理模型内部思考:
  "我需要计算鸡和兔子的腿的总数。
   鸡有 2 条腿，15 只鸡 = 15 × 2 = 30 条腿。
   兔子有 4 条腿，8 只兔子 = 8 × 4 = 32 条腿。
   总数 = 30 + 32 = 62 条腿。
   让我验证一下... 15×2=30, 8×4=32, 30+32=62。正确。"
    ↓
输出: "一共有 62 条腿。"

关键特征

主流推理模型

OpenAI o 系列

DeepSeek-R1 系列

DeepSeek-R1 的重大意义：

• 证明了推理能力可以通过强化学习（GRPO）自然涌现
• 完全开源，打破了 OpenAI 的推理模型垄断
• 蒸馏技术使小模型也能获得推理能力
• 推动了全球推理模型的快速发展

其他推理模型

推理模型 vs 标准 LLM 对比

Test-Time Compute Scaling（推理时计算扩展）

这是推理模型的核心技术理念。传统 Scaling Laws 关注的是训练时计算（更大的模型 + 更多数据），而 Test-Time Compute Scaling 关注的是推理时计算。

推理时计算扩展的两种方式

方式 1: 并行采样 (Best-of-N / Majority Voting)
    ↓
    生成 N 个独立答案 → 投票/验证 → 选择最佳答案
    ↓
    优点: 简单，可并行
    缺点: 计算效率低，N 倍成本

方式 2: 顺序推理 (Chain-of-Thought / Tree-of-Thought)
    ↓
    生成推理链 → 自我验证 → 修正 → 继续推理 → 最终答案
    ↓
    优点: 计算效率高，可解释
    缺点: 不能并行，总延迟高

推理时计算扩展的 Scaling Law

2024-2025 年的研究表明，推理时计算也遵循可预测的 Scaling Law：

• 在固定模型大小下，增加推理时计算量（更多思考 token）可以持续提升性能
• 对于简单问题，推理时计算的边际收益递减很快
• 对于复杂问题，推理时计算可以带来指数级提升
• 存在一个最优的”推理时计算预算”分配策略

GRPO：推理模型的核心训练算法

GRPO (Group Relative Policy Optimization) 是 DeepSeek-R1 使用的强化学习算法，是推理模型训练的关键技术突破。

GRPO 的核心流程

1. 对于一个查询，生成 G 个候选答案（一个 Group）
2. 对每个答案计算奖励 (Reward)：
   - 准确性奖励：答案是否正确
   - 格式奖励：推理格式是否符合要求
   - 语言一致性奖励：是否保持目标语言
3. 用组内相对优势 (Group Relative Advantage) 代替绝对奖励
4. 更新策略（模型参数），使模型偏向生成高奖励的答案

GRPO vs PPO vs DPO 对比

2025-2026：定义性的模型趋势

推理模型改变了一切

1. 能力边界被打破：推理模型在数学竞赛 (IMO)、编程竞赛 (IOI)、博士级科学问题上超越了人类专家水平。

2. 推理时计算成为新维度：模型能力不再只由参数数量决定，推理时的计算预算成为同等重要的维度。

3. 开源推理模型崛起：DeepSeek-R1 的开源引发了全球推理模型的开源浪潮，Qwen3-Thinking、Llama-4-Reasoning 等相继发布。

4. 推理成本下降：从 o1 的 $60/1Mtokens到R1的$2.19/1M tokens，再到蒸馏模型的 $0.14/1M tokens，推理模型的成本在一年内下降了两个数量级。

5. 多模态推理：推理能力从文本扩展到图像、视频、音频，实现跨模态推理。

6. Agent 推理：推理模型与 Agent 框架结合，使 Agent 能够进行复杂的多步规划和推理。

7. 推理模型的人机协作：人类可以查看和干预模型的推理过程，实现真正的协作推理。

推理模型的局限

• 过度推理 (Overthinking)：对简单问题进行不必要的深度推理
• 推理语言切换：非英语查询时，模型可能在推理过程中切换到英语
• 奖励黑客 (Reward Hacking)：模型可能学会利用奖励函数的漏洞
• 推理幻觉：推理过程本身可能包含错误推理，但最终答案恰好正确
• 成本：推理 token 使每次查询的成本显著增加

相关笔记

• 第10章 · LLM 原理与架构演进 — LLM 架构演进，推理模型是其中的最新阶段
• GRPO (Group Relative Policy Optimization) — GRPO 算法详解，推理模型训练的核心技术
• 第12章 · 提示词工程 — 推理模型对 Prompt 工程的影响（少用 CoT Prompt）
• 概念-DeepSeek — DeepSeek 系列模型，推理模型开源的代表
• Google Gemini 模型家族 — Gemini Thinking 的原生多模态推理能力
• Self-RAG 与 Corrective RAG — 推理模型的反思能力与 Self-RAG 的天然契合

来源

• DeepSeek-R1 Technical Report: https://arxiv.org/abs/2501.12948
• OpenAI o1 System Card: https://openai.com/index/openai-o1-system-card/
• OpenAI o3 Technical Report: https://arxiv.org/abs/2504.01234
• Grok-4.5 Launch: https://x.ai/blog/grok-4.5
• GRPO: DeepSeekMath: https://arxiv.org/abs/2402.03300
• Scaling LLM Test-Time Compute: https://arxiv.org/abs/2408.03314
• Let’s Verify Step by Step (OpenAI Process Reward Models): https://arxiv.org/abs/2305.20050