arXiv · cs.CL· Qitong Wang·· 19 天前AI 评分45
SparseDecoding：面向准确高效 LLM 推理的解码感知剪枝框架
SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
来源与原文
arXiv · cs.CL
作者：Qitong Wang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.12327v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
SparseDecoding 是一种面向 LLM 解码阶段的剪枝框架，通过用密集模型自回归生成时（排除 prefill）收集的激活构建校准矩阵，解决自然序列与生成序列之间的分布偏移问题，并配合带 bitmask 索引的优化 N:M 稀疏矩阵-向量核。在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 上，该方法在长文本生成基准上持续优于固定文本校准，在 A100 GPU 上实现最高 1.48x 的端到端解码加速。
来源：arXiv · cs.CL · arxiv.org