索引 / 标签
#语义缓存
共 1 篇
- Ch20 推理部署
语义缓存 (Semantic Cache)
概述 语义缓存 (Semantic Cache) 是 LLM 应用中最简单、投资回报率最高的成本优化技术之一。它的核心思想是：将 LLM 的响应缓存在向量数据库中，当新查询与缓存中的查询语义相
约 4 分钟1,382 字
索引 / 标签
共 1 篇
概述 语义缓存 (Semantic Cache) 是 LLM 应用中最简单、投资回报率最高的成本优化技术之一。它的核心思想是：将 LLM 的响应缓存在向量数据库中，当新查询与缓存中的查询语义相
常用