Reddit · r/LocalLLaMA· /u/brainchillzZ·· 11 天前精选AI 评分61
DeepSeek-V4-Flash-0731 在 4 张 Radeon AI PRO R9700 上跑通 affinity,实测约 79 tok/s
**DeepSeek-V4-Flash-0731 on 4x Radeon AI PRO R9700 with affinity: the "refused" 4-card config works, ~79 tok/s on real cards**
来源与原文
Reddit · r/LocalLLaMA
作者:/u/brainchillzZ
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x70e5r/deepseekv4flash0731_on_4x_radeon_ai_pro_r9700/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置,DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s(temp 1.0),全部 11,008 个专家驻留显存,无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取;作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行,并提示需加 --placement-strategy static。
推荐理由
作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置,给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。
来源:Reddit · r/LocalLLaMA · reddit.com