Auntilz墨痕

索引 / 标签

#训练

共 7 篇

  1. Ch11 模型微调

    11.2 全量微调与LoRA

    全量微调（Full Fine-Tuning）是最传统、最彻底的微调方式：在预训练模型的基础上，用特定任务的数据集，更新模型的所有参数，使模型从"通用能力"转向"特定领域能力"。^Howard & Ruder, "Universal Language Model Fine-tuni

    约 16 分钟5,153 字
  2. Ch11 模型微调

    11.4 SFT：让模型学会"回答"而不是"续写"

    想象你去图书馆读书。过去的三年，你每天从早到晚翻阅图书馆里所有的书——小说、论文、新闻、百科、代码、论坛帖子。你读完了相当于整个互联网的文字量。现在的你能续写任何一段文字的开头，能补全一首诗，能根据前文猜测接下来最可能出现的词。但有人突然问你："帮我写一封给客户的道歉邮件"，你愣

    约 17 分钟5,449 字
  3. Ch11 模型微调

    11.1 微调数据准备

    微调数据，本质上就是"例题与标准答案的配对集合"。如果把预训练模型比作一个读了整个图书馆但从未参加过考试的学生，那么微调数据就是一套精心编写的模拟试卷——每一道"题目"（用户指令）后面都附有一份"标准答案"（期望回复）。学生做完这套卷子，就知道考试时该用什么格式、什么风格来答题了

    约 22 分钟7,136 字
  4. Ch11 模型微调

    11.14 什么时候微调 vs 什么时候用 RAG vs 什么时候用 Prompt

    很多问题不需要微调，用更简单的方案就能解决。下面是决策对照表：

    约 1 分钟425 字
  5. Ch11 模型微调

    11.7 灾难性遗忘详解

    微调有一个常见的副作用：灾难性遗忘（Catastrophic Forgetting）。这是微调中最容易被忽视、但影响最大的问题之一。

    约 2 分钟609 字
  6. Ch11 模型微调

    第11章 · 模型微调

    你用的 ChatGPT、Claude 都是"通用"AI（人工智能）——什么都会一点，但不一定擅长你需要的特定任务。比如你是一个律师，你需要 AI 用法律术语写合同。通用 AI 能写，但不够专业。

    约 2 分钟657 字
  7. Ch11 模型微调

    模型蒸馏（深挖）

    Ch11 模型微调 讲了怎么让模型学会新技能。深挖-模型量化 讲了怎么让模型变小。但还有个更聪明的方法：让大模型当老师，教小模型。 这就是模型蒸馏。

    约 3 分钟905 字