索引 / 标签
#位置信息
共 1 篇
- Ch09 Transformer
位置编码 (Position Encoding)
Transformer 的自注意力机制本身是置换不变的（Permutation Invariant）——即无论输入序列的顺序如何打乱，注意力输出的结果集合都相同。这与自然语言的时序特性相矛盾："我打你" 和 "你打我" 含义完全不同。位置编码（Position Encoding
约 3 分钟963 字
索引 / 标签
共 1 篇
Transformer 的自注意力机制本身是置换不变的（Permutation Invariant）——即无论输入序列的顺序如何打乱，注意力输出的结果集合都相同。这与自然语言的时序特性相矛盾："我打你" 和 "你打我" 含义完全不同。位置编码（Position Encoding
常用