GitHub · 灵魂体仓库·· 19 天前精选AI 评分68
Gufo:面向 AMD Strix Halo 的本地推理引擎开源
gufo-org/gufo
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/gufo-org/gufo
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Gufo 是一个专为 AMD Strix Halo(Ryzen AI MAX+ 395,Radeon 8060S,最高 128 GiB 统一内存)构建的本地推理引擎,在 GitHub 开源,MIT 许可。支持文本、语音、图像等多模态模型:Qwen3.8 27B Q4 预填充 656.33 tok/s、单用户解码最高 70.56 tok/s(DFlash2 8 并发 123.00 tok/s),Qwen3.8 Flash-Next MTP 下 8 并发 157.22 tok/s,另有 Qwen3-ASR 1.7B 15.27× 实时、Qwen3-TTS 1.7B 首音频 201 ms 等。项目提供 Podman 部署与源码构建指南,OpenAI 兼容 API 支持文本、图像、函数工具、结构化输出与流式。
推荐理由
原文给出针对 AMD Strix Halo 128 GiB 统一内存优化的本地推理引擎及其多模态模型实测吞吐数据,读者可据此评估该硬件方案。
来源:GitHub · 灵魂体仓库 · github.com