arXiv · cs.AI· Mahsa Salmani·· 18 天前AI 评分50
DualQuant：面向 LLM 的双尺度免校准权重与激活量化框架
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
来源与原文
arXiv · cs.AI
作者：Mahsa Salmani
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13767v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 DualQuant，一种双尺度、免校准的后训练量化框架，通过最小化权重重建 MSE 得到逐通道激活 rescaling，无需校准数据即可完成 W4A4 量化，并首次正式支持 MX 与 NV block 格式。在 Llama 和 Qwen 模型的 WikiText-2、C4 及零样本任务上，其精度达到或超过基于校准的 SmoothQuant。Llama-3.1-8B 在 RTX 4090 上的实测推理相比 BF16 最高实现 2.61x 内存节省和 2.46x 吞吐加速。
来源：arXiv · cs.AI · arxiv.org