arXiv · cs.AI· Rhea Sanjay Sukthanker·· 1 天前精选AI 评分59
ThinkBit 提出面向推理保持的标量 2-bit 量化框架，Qwen3-1.7B 上 MATH-500 达 73.0
ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning
来源与原文
arXiv · cs.AI
作者：Rhea Sanjay Sukthanker
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.34886v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
ThinkBit 是一个严格标量的 2-bit 量化框架，用整数码字乘 bfloat16 组共享尺度表示权重，按敏感性给每层分配三值/2-bit/3-bit 位宽，经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上，再校准检查点 MATH-500 得 46.7，高于同数据训练的 EfficientQAT 的 30.0；QAT 后达 73.0；0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8，bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1
推荐理由
论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化，给出与 EfficientQAT 的 MATH-500 对比数据可参考。
来源：arXiv · cs.AI · arxiv.org