Reddit · r/LocalLLaMA· /u/SkyFeistyLlama8·· 2 小时前精选AI 评分63
GenieX 让 GGUF 模型可在骁龙 X 的 Hexagon NPU 上运行，附实测评测
GGUFs on Snapdragon Hexagon NPU using GenieX
来源与原文
Reddit · r/LocalLLaMA
作者：/u/SkyFeistyLlama8
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhob18/ggufs_on_snapdragon_hexagon_npu_using_geniex/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GenieX 整合此前 Nexa SDK 工作与 llama.cpp 的 Hexagon NPU 及 Adreno OpenCL 后端，使用签名驱动让任意 GGUF 模型可在骁龙 X 系列芯片上跑 NPU 推理，支持 Windows、Linux 和 Android，并提供 OpenAI API 兼容的 llama-server 网页服务。
推荐理由
作者附上了 NPU、GPU、CPU 三种后端在两台机型上的逐项跑分与功耗数据，可据此评估 NPU 本地推理是否值得折腾。
来源：Reddit · r/LocalLLaMA · reddit.com