索引 / 标签
#DeepSeek
共 2 篇
- Ch10 LLM架构
MoE 混合专家 (Mixture of Experts)
MoE 是一种"众人拾柴火焰高"的架构——模型包含多个"专家"子网络，但每次推理只激活其中一小部分。这让模型参数总量可以极大(万亿级)，但实际计算量只增加很少。
约 4 分钟1,303 字 - Ch11 模型微调
GRPO (Group Relative Policy Optimization)
一句话理解 DeepSeek-R1使用的对齐方法——对同一个问题生成一组回答,好的奖励差的惩罚,组内相互比较,不需要单独的奖励模型。像"小组内排名"而不是"老师打分"。 为什么需要GRPO:
约 4 分钟1,329 字