提出2-bit量化框架ThinkBit保留推理能力
先了解这件事
论文提出ThinkBit，一个严格标量的2-bit量化框架，用整数码字乘bfloat16组共享尺度表示权重，并按敏感性为各层分配三值/2-bit/3-bit位宽，通过Gumbel-softmax码字搜索、蒸馏尺度再校准和短程QAT保留推理能力。 在Qwen3-1.7B上，再校准检查点MATH-500得46.7分，高于同数据训练的EfficientQAT的30.0分；经QAT后达73.0分，0.52 GB的体积小于该模型所有已发布2-bit GGUF且更准。扩展到14B时，3.74 GB模型得94.8分，接近bfloat16下29.5 GB模型的97.5分。论文地址：https://arxiv.org/abs/2610.34886v1
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · cs.AI精选ThinkBit 提出面向推理保持的标量 2-bit 量化框架，Qwen3-1.7B 上 MATH-500 达 73.0
ThinkBit 是一个严格标量的 2-bit 量化框架，用整数码字乘 bfloat16 组共享尺度表示权重，按敏感性给每层分配三值/2-bit/3-bit 位宽，经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上，再校准检查点 MATH-500 得 46.7，高于同数据训练的 EfficientQAT 的 30.0；QAT 后达 73.0；0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8，bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 510月27日 11:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。