Reddit · r/LocalLLaMA· /u/Brief-Tap-6616·· 21 天前精选AI 评分66
作者发布面向 12 GB 显卡的 Qwen 27b 2.3bpw 更新量化,LiveCode Bench 追平 Qwen3.6 BF16
An updated 2.3bpw model for qwen 27b + 12 GB cards: ties Qwen3.6 BF16 on LiveCode Bench and reduces error by 37-57% vs a previous checkpoint
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Brief-Tap-6616
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xlerw1/an_updated_23bpw_model_for_qwen_27b_12_gb_cards/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/Brief-Tap-6616 发布了面向 12 GB Ampere 显卡的 2.3bpw 更新量化模型,基于 Qwen 27b(底座为 Swift-1.5 微调),LiveCode Bench 在 xhigh reasoning 下三次运行得 84.3%(严格评分),与 Qwen3.6 27b BF16 的 83.9% 持平,较上一 checkpoint 的 75% 大幅提升。
推荐理由
作者给出 LiveCode Bench 三个运行均值和 KLD 前后对比,读者可以据此判断极端低比特量化实际损失了多少精度。
来源:Reddit · r/LocalLLaMA · reddit.com