用户实测称Q4量化草稿模型在Q38FN投机解码中加速最大

Reddit r/LocalLLaMA 用户 /u/milpster 分享经验称，Qwen 3.8 27B（Q38FN）搭配 dflash2（strata 场景）做投机解码时，Q4 量化的 draft model 反而带来最大加速，并建议使用该组合的用户尝试更低量化的 draft model。 作者称其用 agent 制作了 F16、Q8、Q4 三种 Q38FN draft model 进行对比，Q4 加速最明显。其表示这一结果与“Q4 与 Q8/F16 接受率相近”的旧经验一致。以上均为该用户的个人实测说法，报道未附独立验证数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。