跳到正文
Reddit · r/LocalLLaMA· /u/Edenar·· 17 天前精选AI 评分63

Reddit 用户用 Strix Halo 加 CMP 170HX 搭建本地 Agent 双机推理系统

Strix halo + CMP 170HX setup

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Edenar

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x1z0mx/strix_halo_cmp_170hx_setup/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署:用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存,通过 USB4 eGPU dock(pcie2x4)接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next(约 1600-1800 tok/s pp、60 tok/s tg)作主 Agent,CMP 170HX 并发跑 2 个 qwen 3.8 27b(w8a16 量化、各约 200k 上下文)作子 Agent,实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。

推荐理由

作者给出完整硬件配置、量化方案和实测吞吐数据,可当作低功耗多卡本地 Agent 部署的参考样本。

来源:Reddit · r/LocalLLaMA · reddit.com