arXiv · cs.AI· Yipin Guo·· 2 天前精选AI 评分53
GAAC：面向个人设备带宽高效 LLM 推理的无损 KV 压缩方法
GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices
来源与原文
arXiv · cs.AI
作者：Yipin Guo
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38210v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Yipin Guo 在 arXiv 发布 GAAC，一种利用 BF16 指数冗余的无损 KV 缓存压缩与服务系统，在五个测试模型上实现 1.405-1.407 倍无损压缩。在 NVIDIA DGX Spark 上 64K token 上下文的解码注意力加速 1.19-1.27 倍，常驻 KV 内存减少约 26%，聚合吞吐提升 13-29%；在 Apple M4 上也获得 1.02-1.25 倍注意力加速，并支持 FP8 E4M3（1.09-1.14 倍）和 E5M2（1.25-1.30 倍）缓存的压缩。
推荐理由
论文给出无损 KV 压缩在个人设备上的实测数据，覆盖 BF16、FP8 缓存和两类硬件，数字具体可查。
来源：arXiv · cs.AI · arxiv.org