Reddit · r/LocalLLaMA· /u/jesdga95·· 5 小时前精选AI 评分67
Basalt 引擎开发者实测 MoE 推理引擎加速开关对 Qwen 3.8 Flash Next 造成的精度损失
Is your engine lobotomizing your model? Kinda, and I measured it
来源与原文
Reddit · r/LocalLLaMA
作者：/u/jesdga95
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xkbbqi/is_your_engine_lobotomizing_your_model_kinda_and/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
r/LocalLLaMA 用户用自研 Basalt 引擎实测 Qwen 3.8 Flash Next 的 Routing bias 与 Tail skip 两个加速开关，以 llama.cpp Q8_0 为参考测 KLD 和任务评测。结果显示 Q8_0 加 shipped 设置后 KLD 从 0.031 升到 0.401，接近 Q2_0 的 0.436；在 16GB 小卡上 Facts 准确率从 38.1 降到 34.3，最差设置下从 38% 跌到 3%，损害主要在链式推理和事实回忆，小卡提速 +56% 但代价更大。
推荐理由
作者实测了 MoE 引擎的专家路由加速开关，给出 KLD 和任务评测数据，可看出这类速度优化对事实与多步推理的实际代价。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。