#加速

推测解码（深挖）

深挖-vLLM推理 讲了怎么管理显存来提高吞吐量。还有一种完全不同的加速思路：用小模型"猜"下一个 token，再用大模型"验证"。 这就是推测解码。