Reddit · r/LocalLLaMA· /u/stereohype·· 19 天前精选AI 评分65
stereohype 用 Halogen 0.17.1 让 Strix Halo NPU 承担编码智能体的检索与筛查任务
Your Strix Halo NPU is sitting idle. My coding agent uses it for search, dedup, decisions and screening
来源与原文
Reddit · r/LocalLLaMA
作者:/u/stereohype
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x06so3/your_strix_halo_npu_is_sitting_idle_my_coding/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者在 r/LocalLLaMA 分享了把闲置的 Strix Halo XDNA2 NPU 通过 Halogen 0.17.1 接入自建编码智能体的方案,NPU 只负责语义检索、去重、受限决策和注入筛查等定向工作。实测 codebase_search 在无关键词问题上 15/20 优于 grep 的 9/20,搜索延迟从约 4s 降到 0.1s,关键词贫乏任务平均 13.6 分钟对比 18.7 分钟;3.5 小时连续会话完成 119 轮、五次提交并经视觉验证发现三个真实 bug,NPU 调用中sidecar压缩每次约省 80-95 秒。作者强调 GPU 负责推理生成,NPU 只负责指引,并按实测裁掉了评分弱的工具。
推荐理由
作者对 Strix Halo NPU 在编码智能体中的每项用途都给出了实测数据和裁剪依据,方法可以迁移到自己的本地部署评测。
来源:Reddit · r/LocalLLaMA · reddit.com