索引 / 标签
#长上下文
共 3 篇
- Ch09 Transformer
上下文窗口（深挖）
上下文窗口（Context Window）是模型在一次推理中能"看到"的最大 token 数量。从 GPT-1 的 512 tokens 到 2026 年 Gemini 3.5 Pro 的 2M tokens，上下文窗口的爆炸式增长正在重塑 AI 应用的设计范式——从"如何压缩信
约 5 分钟1,469 字 - Ch10 LLM架构
Google Gemini 模型家族
概述 Gemini 是 Google DeepMind 开发的多模态大语言模型家族，自 2023 年 12 月首次发布以来，已经发展成为最具竞争力的 AI 模型生态系统之一。Gemini 的独
约 6 分钟1,967 字 - Ch10 LLM架构
长上下文 (Long Context) — 深度解析
长上下文 (Long Context) 是指大语言模型 (LLM) 能够一次处理的最大 token 数量，即上下文窗口 (Context Window) 的大小。2026 年，主流模型已普遍支持 128K1M+ tokens 的上下文窗口，部分模型甚至达到 2M10M token
约 4 分钟1,338 字