Reddit · r/LocalLLaMA· /u/FeydRowan·· 11 天前精选AI 评分65
capy-flash 发布：在双 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B MoE
capy-flash: Qwen3.8-Flash-Next (125B MoE) in full NVFP4 on two 16 GB consumer GPUs
来源与原文
Reddit · r/LocalLLaMA
作者：/u/FeydRowan
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6wh1z/capyflash_qwen38flashnext_125b_moe_in_full_nvfp4/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/FeydRowan 发布 capy-flash，基于其 ninfer-tp2 引擎，可在两块 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B-A6B（专家卸载到内存），也支持 Qwen3.8-27B，一个参数即可切换。在 2× RTX 5070 Ti 上生成约 100 tok/s（Strata 为 78），15k prompt 的 prefill 约 3.4k tok/s（Strata 为 2.7k）；质量对照数据中心 NVFP4 参考用 GSM8K、MMLU-Pro 和 agentic coding 任务检验。
推荐理由
作者给出与 Strata 在相同 NVFP4 权重下的生成和 prefill 速度对比，以及 TP=2 下 BF16 舍入误差的实测数据。
来源：Reddit · r/LocalLLaMA · reddit.com