跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分64

strix-dual-exp:基于 USB4v2 的双机 TP2 大模型推理部署仓库

doctomoe2019/strix-dual-exp

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/doctomoe2019/strix-dual-exp

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该仓库完整记录了在两台 AMD Strix Halo 主机间用 USB4v2 链路做双卡张量并行(TP2)推理的搭建与运行经验,含自定义内核级流传输模块、gufo 侧 TP2 集成与运维脚本。实测 tbstream 传输 p50 延迟 22–23 µs 接近 RDMA 基线,Qwen3.8-Flash-Next Q4 双机 TP2 在约 62k 深度下 prefill 提升 34%,零拷贝无 NIC 路径;Q8 262144 上下文以 TP2 分片约 36 秒加载,单台 122 GB 主机装不下。流拆除时对端 mid-flight 导致的控制面失联(wedge)已定位并修复,自愈单元可在约 8 秒内自动恢复,最终 58% wedge 率压测中 7/7 自愈、零重启。

推荐理由

原文给出了完整的传输延迟、TP2 吞吐对比数据和复现指南,读者可以据此评估 USB4 双机张量并行方案的实际可行性。

来源:GitHub · 灵魂体仓库 · github.com