Reddit · r/LocalLLaMA· /u/milpster·· 59 分钟前精选AI 评分61
strata-dflash2-gfx906-mixed-rocm-cuda 分支让 ROCm 与 CUDA 混合服务 gfx906
strata-dflash2-gfx906-mixed-rocm-cuda: use cuda alongside rocm and more
来源与原文
Reddit · r/LocalLLaMA
作者:/u/milpster
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xq2pxr/stratadflash2gfx906mixedrocmcuda_use_cuda/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/milpster 发布 strata-dflash2-gfx906-mixed-rocm-cuda 分支,在 2× Radeon VII(gfx906)加一张 8 GiB NVIDIA 笔记本卡上以约 47 GiB MoE 模型做日常服务,NVIDIA 卡通过 socket 向 AMD 引擎提供 expert/prefill 行。作者称相比同日原版解码速度提升 49%(34.7 对 23.3 tok/s 池化中位数),短提示读取快 1.4–2.4 倍,主机内存减少 6.2 GiB,但全新约 16k prefill 读取慢 12%。
推荐理由
作者给出了 gfx906 上跑 MoE 的完整构建方案与对照数据,读者可据此判断老 AMD 卡加闲置 NVIDIA 卡能否撑起日常推理服务。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。