索引 / 标签
#注意力机制
共 8 篇
- Ch09 Transformer
概念-自注意力机制详解
自注意力机制（Self-Attention）让序列中的每个词都能"看到"所有其他词，直接计算任意两个词之间的关联强度——这是 Transformer 超越 RNN 的核心武器。
约 1 分钟404 字 - Ch06 神经网络基础
- Ch09 Transformer
Transformer 架构
Transformer 是由 Vaswani 等人在 2017 年论文 "Attention Is All You Need" 中提出的神经网络架构。它完全基于注意力机制（Attention Mechanism），摒弃了传统的循环（RNN）和卷积（CNN）结构。Transform
约 3 分钟920 字 - Ch09 Transformer
上下文窗口（深挖）
上下文窗口（Context Window）是模型在一次推理中能"看到"的最大 token 数量。从 GPT-1 的 512 tokens 到 2026 年 Gemini 3.5 Pro 的 2M tokens，上下文窗口的爆炸式增长正在重塑 AI 应用的设计范式——从"如何压缩信
约 5 分钟1,469 字 - Ch09 Transformer
位置编码 (Position Encoding)
Transformer 的自注意力机制本身是置换不变的（Permutation Invariant）——即无论输入序列的顺序如何打乱，注意力输出的结果集合都相同。这与自然语言的时序特性相矛盾："我打你" 和 "你打我" 含义完全不同。位置编码（Position Encoding
约 3 分钟963 字 - Ch09 Transformer
- Ch10 LLM架构
长上下文 (Long Context) — 深度解析
长上下文 (Long Context) 是指大语言模型 (LLM) 能够一次处理的最大 token 数量，即上下文窗口 (Context Window) 的大小。2026 年，主流模型已普遍支持 128K1M+ tokens 的上下文窗口，部分模型甚至达到 2M10M token
约 4 分钟1,338 字 - Ch20 推理部署
KV Cache (Key-Value 缓存)
KV Cache（Key-Value 缓存）是 Transformer 自回归解码（Autoregressive Decoding）中的一项核心推理优化技术。在生成文本时，模型每生成一个 token 都需要计算所有历史 token 的注意力。如果不做缓存，每个新 token 都要
约 3 分钟971 字