Reddit · r/LocalLLaMA· /u/Distinct-Pie2389·· 9 天前精选AI 评分62
Strata 0.1.45 之前旧版本默认贪心解码，作者实测路由跳过对 4-bit 量化的质量影响
if you're on Strata before 0.1.45 and your client doesn't set sampling, you're running greedy
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Distinct-Pie2389
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8lwa1/if_youre_on_strata_before_0145_and_your_client/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。
推荐理由
作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。
来源：Reddit · r/LocalLLaMA · reddit.com