Constitutional AI（深挖）

偏好对齐：DPO vs GRPO（深挖） 讲了两种教 AI 分辨好坏的方法。但有一个问题没解决：“好坏”的标准谁定？

RLHF 的标准来自人工标注——标注员说这个答案好，AI 就学这个。DPO 也一样。这些都是”众包定义的好”——花钱请人标注出来的。Constitutional AI（宪法式 AI）的答案是：用明文规则定义好坏。 ¹

人工标注的局限

RLHF 需要大量人工标注。标注成本高、速度慢、可能有偏见（标注员的价值观不等于全人类的价值观）。而且有些安全问题标注员也判断不了——“这段代码有安全漏洞吗？“——需要专家。

Constitutional AI 的做法：写一套”宪法”规则，用 AI 自己生成训练数据。

怎么工作

Anthropic 2022 年提出的方案分两步：

第一步：监督学习阶段。

AI 生成一个初始回答。然后 AI 根据”宪法”规则自我批评这个回答——“这个回答有哪些地方违反了规则？” AI 自己指出问题。然后 AI 根据批评修改回答。最终得到”修改后的更好回答”。

整个过程，人没有参与。AI 自己生成初始回答 -> 自己批评 -> 自己修改。

第二步：强化学习阶段。

用第一步生成的”改进版回答”作为偏好数据，做 RLHF。偏好不是来自人工标注员，而是来自 AI 自己。

“宪法”长什么样

Anthropic 的宪法是一套自然语言规则，比如：

• “请选择毒性最小的回答。”
• “请选择最能鼓励合法行为的回答。”
• “不要选择鼓励暴力、非法或不道德行为的回答。”
• “如果回答包含可能有害的心理健康建议，标记为不安全。”

这些规则是人写的，但只有几条到几十条。比标注几万条数据的工作量小得多。规则定了之后，AI 自己生成训练数据。

Constitutional AI vs RLHF vs DPO

为什么重要

Constitutional AI 解决了一个根本问题：谁有权定义 AI 的价值观？

RLHF/DPO 的答案是”标注员”。Constitutional AI 的答案是”全社会协商出的规则”。前者是黑箱，后者是白箱——规则公开、可讨论、可修改。

这也是为什么 Anthropic 的 Claude 一直强调”安全”——不是因为它比其他 AI 更聪明，而是因为它的训练方式更透明。Claude 的安全规则（系统提示词）是公开的 ²。

跟你有什么关系

你可能不会自己训练一个 AI。但 Constitutional AI 的思路影响了所有 AI 产品的安全设计：

• 系统提示词就是某一种”微型宪法”——定义了 AI 的行为边界
• 内容审核系统也可以借鉴这个思路——不是靠人工审核每条内容，而是定义规则，让 AI 自己判断
• 如果你自己微调一个 AI（第11章 · 模型微调），在 SFT 阶段把”宪法规则”作为训练数据的一部分，可以显著提升安全性

相关笔记

• 偏好对齐：DPO vs GRPO（深挖） — 对齐方法的比较
• AI 安全基础 — 安全问题全景
• 提示词注入攻防（深挖） — Constitutional AI 的规则也可能被攻击

来源

• Bai et al., “Constitutional AI”, 2022, https://arxiv.org/abs/2212.08073
• Anthropic, “Claude’s Constitution”, 2023