GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分58
PURHIE 发布 AMD Strix Halo 零拷贝 LLM 推理引擎
aardbeiplantje/PURHIE
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/aardbeiplantje/PURHIE
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
aardbeiplantje/PURHIE 是一个面向 AMD Strix Halo(gfx1151、128 GB 统一内存)的独立推理引擎,GGUF 模型经 mmap 由 HIP kernel 原地读取,不做拷贝或重打包,并支持 ROCmFP4 / K-quant int8 点积、WMMA prefill、可共享文件的 KV cache 与 MTP 投机解码。作者给出的实测中,Qwen3.8-Flash-Next(177B)在 ROCmFP4_FAST 下为 34–38 tok/s,启用其 MTP head 后为 48–55 tok/s,prefill 826 tok/s。
推荐理由
作者给出了在 AMD Strix Halo 上跑多个 GGUF 模型的实测吞吐,读者可据此判断零拷贝推理在本地部署中的实际可用性。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。