索引 / 标签
#LLM推理
共 2 篇
- Ch20 推理部署
KV Cache (Key-Value 缓存)
KV Cache（Key-Value 缓存）是 Transformer 自回归解码（Autoregressive Decoding）中的一项核心推理优化技术。在生成文本时，模型每生成一个 token 都需要计算所有历史 token 的注意力。如果不做缓存，每个新 token 都要
约 3 分钟971 字 - Ch20 推理部署
语义缓存 (Semantic Cache)
概述 语义缓存 (Semantic Cache) 是 LLM 应用中最简单、投资回报率最高的成本优化技术之一。它的核心思想是：将 LLM 的响应缓存在向量数据库中，当新查询与缓存中的查询语义相
约 4 分钟1,382 字