Qwen3.8 27B KV缓存量化实测：8-bit基本无损，4-bit随上下文变差
热点事件持续更新
Qwen3.8 27B KV缓存量化实测：8-bit基本无损，4-bit随上下文变差
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Reddit 用户 Hefty_Wolverine_553 用 KLD 实测了 Qwen3.8 27B 在 llama.cpp、ExLlamaV3 和 vLLM 上 35 个权重量化搭配 16-bit、8-bit、4-bit KV cache 的输出漂移。结论是 8-bit KV cache 基本无损：llama.cpp 和 ExLlamaV3 的 8-bit cache 把显存占用减半，KLD 变化小于 0.00012；vLLM 的 FP8 cache 则增加 0.0004 到 0.0006。 4-bit cache 有明显影响：llama.cpp 的 q4_0 带来约 +0.0016 到 +0.0027 的固定惩罚，在 16–32k token 处比前 4k 高出约 15–30%，作者称仍不推荐使用。vLLM 没有 4-bit KV cache 选项。
AI 根据报道生成 · 3 小时前更新
最新进展11月8日 01:09
Qwen3.8 27B 的 KV cache 量化影响实测：8-bit 基本无损，4-bit 随上下文加深变差报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- Reddit · r/LocalLLaMA精选Qwen3.8 27B 的 KV cache 量化影响实测：8-bit 基本无损，4-bit 随上下文加深变差
作者用 KLD 对比了 llama.cpp、exllamav3 和 vLLM 上 35 个权重量化搭配 16-bit、8-bit 和 4-bit KV cache 的输出漂移。llama.cpp 和 ExLlamaV3 的 8-bit cache 把显存占用减半且 KLD 变化小于 0.00012，vLLM 的 FP8 cache 则增加 0.0004 到 0.0006。llama.cpp 的 q4_0 4-bit cache 带来约 +0.0016 到 +0.0027 的固定惩罚，在 16-32k token 处比前 4k 高出约 15-30%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。