Reddit · r/LocalLLaMA· /u/zyxciss·· 17 天前精选AI 评分71
作者在 16GB 内存机器上用 --moe-direct-io 把 Qwen 3.8 Flash Next IQ2_XS 跑到约 21 tok/s 且输出 bit-exact
Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS at ~21 tok/s on just an RTX 3060 12GB + 16GB DDR4 RAM(No gate pruning, 100% bit-exact)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/zyxciss
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x1tclb/qwen_38_flash_nextgsqrcoiq2_xs_at_21_toks_on_just/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/zyxciss 在 llama.cpp 中实现可选功能 --moe-direct-io，用 RTX 3060 12GB + 16GB DDR4 将 68GB 的 Qwen 3.8 Flash Next（125B MoE，512 专家）GSQ-RCO IQ2_XS 从原版 1.41–2.12 tok/s 提升到热缓存下 20–21 tok/s，部分运行达 24+ tok/s，输出与原版 bit-exact。方法靠预测下一 token 所需专家并预取，不剪枝专家；原版 mmap 模式每 token 有 1140–1565 次重大页错误、208–312 MB/token 的 SSD 读取，新方案页错误约 0。
推荐理由
作者给出同一硬件下 llama.cpp 原版与自研 --moe-direct-io 的逐项速度和页错误对比，且强调输出 bit-exact，方法与数据可直接对照复现。
来源：Reddit · r/LocalLLaMA · reddit.com