Reddit · r/LocalLLaMA· /u/dead-fish·· 8 天前精选AI 评分64
双 CMP 170HX 本地优化 Qwen 3.8 Flash Next,作者公开完整配方与吞吐数据
Qwen 3.8 Flash Next optimized for two CMP 170hx GPUs
来源与原文
Reddit · r/LocalLLaMA
作者:/u/dead-fish
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x9iufz/qwen_38_flash_next_optimized_for_two_cmp_170hx/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 /u/dead-fish 在两张 CMP 170HX(PCIe Gen2 x4)上优化 Qwen 3.8 Flash Next,使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms,聚合 840 tok/s;prefill 4k–64k 提示为 6,300–7,100 tok/s;HumanEval 157/164(95.7%)、GSM8K 1,271/1,319(96.4%),使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。
推荐理由
作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据,可复现且方法透明。
来源:Reddit · r/LocalLLaMA · reddit.com