Reddit · r/LocalLLaMA· /u/Brief-Tap-6616·· 14 小时前精选AI 评分60
LlamAmpere v0.6.3 发布 Qwen Flash Next 量化模型，误差比 Strata 3XS 低 50%
50% lower error than Strata 3XS, 27% lower error than UD v3.1 3XXS, with 120+ TPS/ 12% faster, on a 30090 + 64GB
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Brief-Tap-6616
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xpmzg7/50_lower_error_than_strata_3xs_27_lower_error/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LlamAmpere v0.6.3 发布新的 Qwen Flash Next 量化模型与量化更新，在 100K 深度下约 120+ TPS，误差比几天前同卡型的 QFN 版本低 50%，比 UD 改进版量化低 27%。作者称前 100K 的 prefill 超过 3000/s，并给出一个比上述版本快约 10% 的 3XS 级别文件，但因质量仅比原 Strata 3bpw 模型好约 15% 而不推荐。该版本也适用于 12+64GB 配置，作者不建议在总内存低于 54GB 的配置上使用任何 QFN 量化。
推荐理由
作者给出了新旧量化版本在误差与吞吐上的对照数据，读者可据此判断 Qwen Flash Next 在本地部署中的取舍。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。