Reddit · r/LocalLLaMA· /u/Zestyclose_Reality15·· 20 天前精选AI 评分63
Qwen3-Next-80B 在 RTX 3090 + 16GB 内存上解码提速约 3 倍的 MoE 补丁
Qwen3-Next-80B on a 3090 with 16GB RAM: ~3x faster decode than stock llama.cpp by not waiting for every expert (patch + paper)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Zestyclose_Reality15
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wz1bxs/qwen3next80b_on_a_3090_with_16gb_ram_3x_faster/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布一个 MoE offloading 研究补丁：路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取，其余用已在 VRAM 的次优专家替换，使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。
推荐理由
作者实测了 MoE 专家缺失时的替换策略，给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据，可复现。
来源：Reddit · r/LocalLLaMA · reddit.com