arXiv · cs.CL· Yujie Chen·· 17 天前AI 评分51
FidelityQ：面向超低比特语言模型量化的预测保真度保持框架
FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization
来源与原文
arXiv · cs.CL
作者：Yujie Chen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.14934v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 FidelityQ 标量量化框架，在权重低至 2 bit 时保持大语言模型的预测保真度。核心包括 Hadamard 混合的 IAC 编码与基于教师-学生散度尾部分配校准预算的 KIC 方法；LLaMA-2-7B 在 W2A16 下 WikiText2 困惑度为 6.62，将 W2A4KV4 此前最好结果从 8.31 提升至 6.96，线性层权重内存相对 FP16 减少 8.0x。论文链接 https://arxiv.org/abs/2610.14934v1。
来源：arXiv · cs.CL · arxiv.org