索引 / 标签
#AI安全
共 4 篇
- Ch10 LLM架构
概念-RLAIF
RLAIF（Reinforcement Learning from AI Feedback，基于AI反馈的强化学习）是指用AI模型替代人类提供偏好信号或反馈，训练另一个AI模型的策略。相较于RLHF（Reinforcement Learning from Human Feedba
约 4 分钟1,220 字 - Ch12 Prompt工程
概念-Jailbreaking
Jailbreaking（越狱）是指通过精心设计的输入（prompt），绕过LLM（Large Language Model）的安全对齐机制，使其产生违反使用政策的输出。与提示词注入（Prompt Injection）不同，Jailbreaking不依赖注入外部数据，而是通过语义
约 5 分钟1,503 字 - Ch21 MLOps
概念-Guardrails
Guardrails（安全护栏）是部署在AI系统周围的安全防护层，用于检测、过滤和阻止有害输入和输出。与模型内部的训练对齐不同，Guardrails是外部可配置的防护机制，可以在不修改模型的情况下实现安全策略。
约 3 分钟1,059 字 - Ch21 MLOps
概念-RedTeaming
Red Teaming（红队测试）是一种系统性的对抗性测试方法，通过模拟攻击者行为来评估AI系统的安全性和鲁棒性。在AI语境中，红队测试旨在发现模型可能产生有害输出、泄露敏感信息或被恶意利用的场景，从而在模型部署前识别和修复漏洞。
约 4 分钟1,339 字