arXiv · cs.CL· Yan Tai·· 19 小时前AI 评分50
扩散语言模型的 KV Cache 量化研究：提出 TRACE 与 dLLM-KVQ 方法
KV Cache Quantization for Diffusion Language Models
来源与原文
arXiv · cs.CL
作者：Yan Tai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39853v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 2610.39853 研究扩散语言模型（dLLM）在缓存复用误差下的 KV cache 量化问题，将 KIVI 与 KVQuant 适配到 Fast-dLLM 式前缀与双缓存复用，并提出 TRACE 与 dLLM-KVQ。TRACE 从 prompt-answer 对重建可行的掩码揭示轨迹作为校准状态，dLLM-KVQ 据此选出需保持高精度的逐层 K 缓存条目并对其余做低位量化。在 LLaDA 和 Dream 上评测 GSM8K、HumanEval、MATH、MBPP，dLLM-KVQ 在报告的 4-bit 与 2-bit 前缀/双缓存设置中取得量化方法中的最高平均分。
来源：arXiv · cs.CL · arxiv.org