Reddit 用户实测：PCIe 3.0 x1 下张量拆分提升 llama.cpp 吞吐 42%
先了解这件事
Reddit 用户 /u/Introvertosaurus 实测发现，在第二块 GPU 通过 PCIe 3.0 x1 连接的情况下，llama.cpp 从 layer split 换成 tensor split 后生成速度从 14 t/s 提升到 20 t/s，提高 42%；实测 decode 期间 PCIe 流量仅约 90-110 MB/s，远低于 x1 约 985 MB/s 的理论上限。 在租用的 2× RTX 5060 Ti 上运行 L3.1 Nemotron Sunfall 71B IQ3_XS（2k 上下文）时，tensor split 生成快 77%，但 prompt processing 有约 37-41% 的代价，模型加载也会因 x1 变慢数秒。 作者称尚未做充分测试，平均吞吐未涵盖延迟与同步开销，且这些结果不能证明 PCIe x1 没有性能损失。
AI 根据报道生成 · 21 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选Reddit 实测：PCIe 3.0 x1 下 llama.cpp tensor split 表现好于预期
Reddit 用户 /u/Introvertosaurus 实测 PCIe 3.0 x1 连接第二块 GPU 跑 llama.cpp，tensor split 比 layer split 快 42%（14→20 t/s），decode 期间 PCIe 流量仅约 90-110 MB/s，远低于 x1 约 985 MB/s 的理论上限。在租用的 2× RTX 5060 Ti 上跑 L3.1 Nemotron Sunfall 71B IQ3_XS（2k 上下文）时 tensor split 生成快 77%，但 prompt processing 有约 37-41% 的惩罚；作者提醒测试未覆盖延迟与同步开销，模型加载也会因 x1 变慢数秒。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。