2-bit QAT 改写 24GB 显存本地部署格局:Nemotron 3.5 Bolt 74B 与 Liquid LFM2.5-24B-A2B 实测分析
Reddit 用户 BTA_Labs 实测 Nvidia Nemotron 3.5 Bolt 74B-A9B(原生 2-bit QAT,Mamba-2-Transformer 混合 LatentMoE,9B 激活)与 Liquid AI LFM2.5-24B-A2B(24B 总参数、2.45B 激活、131k 上下文),认为 Q4 以下量化必掉智的老规则在 QAT 和混合架构下需要重写。
推荐理由:作者实测了 Nvidia 2-bit QAT 74B 与 Liquid 24B-A2B 在 24GB 显存下的表现,给出了 PinchBench 具体分数对比。