跳到正文
Reddit · r/LocalLLaMA· /u/FeydRowan·· 5 天前精选AI 评分70

capy-flash v0.7.1 发布:Qwen3.8-Flash-Next 125B MoE 可在 64 GB 内存上运行

capy-flash v0.7.1: Qwen3.8-Flash-Next (125B MoE) now runs in 64 GB of RAM (234 tok/s on two 16 GB cards), and Qwen3.8-27B 3-bit fits on a single 16 GB card (174 tok/s)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/FeydRowan

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xciqnj/capyflash_v071_qwen38flashnext_125b_moe_now_runs/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源推理引擎 capy-flash 发布 v0.7.1,让 Qwen3.8-Flash-Next(125B MoE)在 64 GB 内存加一或两张 16 GB GPU 上运行,双卡实测 234 tok/s;Qwen3.8-27B 3-bit 版可放进单张 16 GB 卡(174 tok/s,64k 上下文)。Flash-Next 的 routed experts 直接使用 ISTA-DASLab 的 GSQ-RCO 3-bit 量化(约 48 GiB 驻留内存,峰值约 57 GB),27B 的 3-bit 量化 MMLU-Pro 从 0.78 降至约 0.72,GSM8K 与 NVFP4 持平;代码与权重见 https://github.com/ValerioDolci/capy-flash。

推荐理由

作者给出了具体显存占用和双卡实测速度,还附上 3-bit 量化与 NVFP4 的质量对比数据,方便判断取舍。

来源:Reddit · r/LocalLLaMA · reddit.com