跳到正文
Reddit · r/LocalLLaMA· /u/Fancy-Snow7·· 12 天前AI 评分54

Qwen3.8 27B 16GB 显存 KV 量化实测:21 个模型 9 种量化共 189 组基准

I tested Qwen3.8 27B KLD for 21 Models at 9 different KV quants that fit on 16GB VRAM (189 benchmarks).

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Fancy-Snow7

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x6fwcd/i_tested_qwen38_27b_kld_for_21_models_at_9/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度,覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0,而后两者差异很小;模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16,建议先选最高可用模型量化,再视余量提高 KV 量化。作者提醒该结论适用于较低量化,从 q6 升到 q8 时提高 KV 量化收益可能更大,且不适用于 Gemma 等需 f16 KV 的模型;Bonsai 和 swift 量化因属微调,KLD 差异显著,计算意义不大。完整基准数据见评论区。

来源:Reddit · r/LocalLLaMA · reddit.com