#Mixture of Experts

MoE 混合专家 (Mixture of Experts)

MoE 是一种"众人拾柴火焰高"的架构——模型包含多个"专家"子网络，但每次推理只激活其中一小部分。这让模型参数总量可以极大(万亿级)，但实际计算量只增加很少。