Reddit · r/LocalLLaMA· /u/BTA_Labs·· 11 天前精选AI 评分62
2-bit QAT 改写 24GB 显存本地部署格局：Nemotron 3.5 Bolt 74B 与 Liquid LFM2.5-24B-A2B 实测分析
For two years we said anything under Q4 had brain damage. After testing Nvidia's 2-bit QAT 74B (Bolt) and Liquid's 24B-A2B, the 24GB VRAM meta just flipped on its head.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/BTA_Labs
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6rr8z/for_two_years_we_said_anything_under_q4_had_brain/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 BTA_Labs 实测 Nvidia Nemotron 3.5 Bolt 74B-A9B（原生 2-bit QAT，Mamba-2-Transformer 混合 LatentMoE，9B 激活）与 Liquid AI LFM2.5-24B-A2B（24B 总参数、2.45B 激活、131k 上下文），认为 Q4 以下量化必掉智的老规则在 QAT 和混合架构下需要重写。
推荐理由
作者实测了 Nvidia 2-bit QAT 74B 与 Liquid 24B-A2B 在 24GB 显存下的表现，给出了 PinchBench 具体分数对比。
来源：Reddit · r/LocalLLaMA · reddit.com