概念-自注意力机制详解

一句话理解

自注意力机制（Self-Attention）让序列中的每个词都能”看到”所有其他词，直接计算任意两个词之间的关联强度——这是 Transformer 超越 RNN 的核心武器。

为什么叫”自”注意力

“自”（Self）的意思是：Q、K、V 都来自同一个输入序列。每个词同时扮演三个角色——查询者（我想找什么信息）、被查者（我有什么信息）、内容提供者（我的实际含义）。

比喻：教室里每个学生（词）同时做三件事：① 举手提问（Query）② 胸前挂名牌（Key）③ 手里拿着知识卡片（Value）。每个学生扫描所有人的名牌，找到和自己问题最匹配的，然后重点阅读那些人的知识卡片。

与普通注意力的区别

核心优势

1. 并行计算：所有词同时计算，不依赖前一个词的结果
2. 长距离依赖：第 1 个词和第 1000 个词的距离是 O(1)，不是 O(1000)
3. 可解释性：注意力权重可视化后，可以看到模型在”关注什么”

相关笔记

• 注意力机制 (Attention Mechanism) — 注意力机制基础
• 9.2 自注意力机制 — 深度拆解 — 主章节详细讲解
• 第9章 · Transformer 架构精讲 — Transformer 全景

来源

• Vaswani et al., “Attention Is All You Need”, 2017, https://arxiv.org/abs/1706.03762
• Jay Alammar, “The Illustrated Transformer”, https://jalammar.github.io/illustrated-transformer/