Reddit · r/LocalLLaMA· /u/Introvertosaurus·· 1 小时前精选AI 评分63
Reddit 实测：PCIe 3.0 x1 下 llama.cpp tensor split 表现好于预期
Tensor Split Over PCIe 3.0 x1 — Good Results
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Introvertosaurus
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xgojqz/tensor_split_over_pcie_30_x1_good_results/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 /u/Introvertosaurus 实测 PCIe 3.0 x1 连接第二块 GPU 跑 llama.cpp，tensor split 比 layer split 快 42%（14→20 t/s），decode 期间 PCIe 流量仅约 90-110 MB/s，远低于 x1 约 985 MB/s 的理论上限。在租用的 2× RTX 5060 Ti 上跑 L3.1 Nemotron Sunfall 71B IQ3_XS（2k 上下文）时 tensor split 生成快 77%，但 prompt processing 有约 37-41% 的惩罚；作者提醒测试未覆盖延迟与同步开销，模型加载也会因 x1 变慢数秒。
推荐理由
作者用 nvidia-smi dmon 实测 tensor split 的 PCIe 流量，decode 仅约 90-110 MB/s，为纠结 x1 带宽的多卡方案提供了可复用的验证方法。
来源：Reddit · r/LocalLLaMA · reddit.com