Reddit · r/LocalLLaMA· /u/milpster·· 3 小时前AI 评分28
Q38FN 搭配 dflash2 使用时建议尝试更低量化的 draft model
Using Q38FN with dflash2? Try lower draft model quants.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/milpster
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xgozlq/using_q38fn_with_dflash2_try_lower_draft_model/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户分享经验：Qwen 3.8 27B 搭配 dflash2（strata 场景）做投机解码时，Q4 量化的 draft model 反而带来最大加速，与 Q4 与 Q8/F16 接受率相近的旧经验一致。作者用 agent 制作了 F16、Q8、Q4 三种 Q38FN draft model 对比，建议用户尝试低量化 draft model。
来源：Reddit · r/LocalLLaMA · reddit.com