索引 / 标签
#预训练
共 3 篇
- Ch04 机器学习
迁移学习 (Transfer Learning)
在任务A上学到的知识迁移到任务B——AI时代的"举一反三"。你不需要从零开始教模型识别猫,只需要在已经理解"毛茸茸四条腿"的模型上微调即可。
约 4 分钟1,295 字 - Ch11 模型微调
模型训练管线
一句话理解 2026 年完整的模型训练管线包括：预训练 (Pre-training) → 监督微调 (SFT) → 偏好对齐 (DPO/RLHF) → 强化学习进阶 (GRPO) → 模型合并
约 5 分钟1,711 字 - Ch11 模型微调
精选训练数据集 (Curated Training Data)
概述 训练数据是 LLM 性能的基石。2023 年之前，LLM 训练主要依赖大规模网页抓取 (Common Crawl)，数据量大但质量参差不齐。2023-2026 年间，业界逐渐形成共识：数
约 5 分钟1,713 字