arXiv · cs.CL· Patrick Haller·· 6 天前AI 评分42
PACE：四比特循环状态的周期性且通道对齐编码方法
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
来源与原文
arXiv · cs.CL
作者：Patrick Haller
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.29545v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器，只需每生成几个 token 舍入一次状态，并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上，混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当，全程 4 比特版本在同等内存下得分高于 Q-Mamba，且保持解码加速。
来源：arXiv · cs.CL · arxiv.org