索引 / 标签
#Prefix Tuning
共 1 篇
- Ch11 模型微调
Prefix Tuning（前缀微调）
一句话理解 Prefix Tuning 在 Transformer 的每一层前面拼接可学习的"前缀向量"（Prefix），这些向量参与该层的 Key-Value 注意力计算，从而影响整个生成过
约 4 分钟1,339 字
索引 / 标签
共 1 篇
一句话理解 Prefix Tuning 在 Transformer 的每一层前面拼接可学习的"前缀向量"（Prefix），这些向量参与该层的 Key-Value 注意力计算，从而影响整个生成过
常用