跳到正文
GitHub · 灵魂体仓库·· 12 天前精选AI 评分73

strix-halo-engine-lab:面向 AMD Strix Halo 的 C++/HIP 本地推理引擎开源

hyukudan/strix-halo-engine-lab

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hyukudan/strix-halo-engine-lab

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

hyukudan 在 GitHub 开源了面向 AMD Strix Halo(Ryzen AI Max+ 395,Radeon 8060S,gfx1151,128GB 统一内存,Linux + ROCm)的 C++/HIP 推理引擎,可用单节点或 USB4 直连双节点运行。默认精确路径声称与参考路径 token 完全一致,实测 Qwen3.8-Flash-Next 双节点流水线 prefill 约 2,660 tok/s(32K)、DeepSeek V4.1 Flash pair 8.4K 下 1,057 tok/s,另支持 MiniMax M3.1 Flash、GLM-5.3 Flash、多模态与文生图的 opt-in 构建。

推荐理由

这是一个面向 AMD Strix Halo 的本地推理引擎,给出了各模型实测 token 速率和量化方案,便于自建双节点部署时参考可验证数字。

来源:GitHub · 灵魂体仓库 · github.com