跳到正文
我的
GitHub · 去对齐工具与仓库·· 3 小时前精选AI 评分58

PURHIE 发布 AMD Strix Halo 零拷贝 LLM 推理引擎

aardbeiplantje/PURHIE

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/aardbeiplantje/PURHIE

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

aardbeiplantje/PURHIE 是一个面向 AMD Strix Halo(gfx1151、128 GB 统一内存)的独立推理引擎,GGUF 模型经 mmap 由 HIP kernel 原地读取,不做拷贝或重打包,并支持 ROCmFP4 / K-quant int8 点积、WMMA prefill、可共享文件的 KV cache 与 MTP 投机解码。作者给出的实测中,Qwen3.8-Flash-Next(177B)在 ROCmFP4_FAST 下为 34–38 tok/s,启用其 MTP head 后为 48–55 tok/s,prefill 826 tok/s。

推荐理由

作者给出了在 AMD Strix Halo 上跑多个 GGUF 模型的实测吞吐,读者可据此判断零拷贝推理在本地部署中的实际可用性。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。