R-KV 开源：面向推理模型的KV缓存压缩，vLLM 与 SGLang 端口性能强化

R-KV 是一个解码时 KV 缓存压缩方法仓库，通过同时评估 token 的重要性和非冗余性来丢弃重复 token，在 10% 缓存下保持约 100% 精度，长 CoT 生成中节省 90% 内存、吞吐提升 6.6 倍。vLLM（v0.25.1）和 SGLang（v0.5.14）端口已完成性能强化，支持 tensor 与数据并行（DP 在 8× H100 上分别扩展 7.6× 和 7.8×），在 budget=512 的 GSM8K 上与 Full-KV 保持无损，vLLM 端口在 gpu_mem 0.40–0.25 下吞吐提升 +17% 至 +32%。方法无需训练，兼容任意自回归 LLM，基准测试基于 DeepSeek-R1-Distill 系列模型在 MATH-500 和 AIME 2024 上进行。