Reddit · r/LocalLLaMA· /u/FeydRowan·· 2 天前精选AI 评分61
capy-flash v0.7.4 发布：双卡 Qwen3.8 推理引擎的进展与适用边界
capy-flash v0.7.4: where my two-GPU Qwen3.8 engine is now, what it isn't for, and where it's going
来源与原文
Reddit · r/LocalLLaMA
作者：/u/FeydRowan
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xe9yyg/capyflash_v074_where_my_twogpu_qwen38_engine_is/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由
作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
来源：Reddit · r/LocalLLaMA · reddit.com