arXiv · cs.AI· Philipp Nazari·· 4 天前精选AI 评分52
研究提出LoReS量化管线：递归语言模型的量化比想象中容易
Quantizing Recurrent Language Models Is Easier Than You Think
来源与原文
arXiv · cs.AI
作者：Philipp Nazari
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.01864v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Philipp Nazari等在arXiv:2611.01864发表研究，分析线性递归语言模型与softmax Transformer在量化上的差异。研究发现衰减型递归产生的残差离群通道更弱，额外状态更易量化；递归状态的重复更新则是不同于KV cache量化的数值问题。论文提出LoReS管线，结合值轴分组缩放、基于衰减的混合精度和随机舍入，在Qwen-3.5 9B、Nemotron-H 8B和Kimi-Linear 48B-A3B上支持稳健的8-bit状态量化，并已在vLLM中实现端到端解码加速。
推荐理由
论文系统分析了线性递归模型与softmax Transformer在量化上的数值差异，并给出可落地的LoReS管线和vLLM加速实现。
来源：arXiv · cs.AI · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。