Reddit · r/LocalLLaMA· /u/Yaniss916·· 22 天前精选AI 评分73
Qwen3.8-Flash-Next (125B) 量化权重与 Kyojin 引擎发布，单台 Strix Halo 迷你主机跑出 44-59 tok/s
Qwen3.8-Flash-Next (125B) on a single Strix Halo mini PC: 44-59 tok/s with speculative decoding, ~1,400 tok/s prefill, engine is open
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Yaniss916
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wybesy/qwen38flashnext_125b_on_a_single_strix_halo_mini/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Yamz Labs 发布了 Qwen3.8-Flash-Next（125B MoE，6B 激活）的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本（基于 ExLlamaV3，开放源码），可在单台 AMD Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB）上运行。
推荐理由
作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据，可据此评估这套量化方案的实际取舍。
来源：Reddit · r/LocalLLaMA · reddit.com