用户实测NVIDIA+AMD混合多卡跑llama.cpp:速度反低于单卡
热点事件持续更新
用户实测NVIDIA+AMD混合多卡跑llama.cpp:速度反低于单卡
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
一位 r/LocalLLaMA 用户用 AMD Radeon AI Pro R9700(32GB)加 NVIDIA RTX 4500 Ada(24GB)组成混合双卡,在 llama.cpp 的 Vulkan 后端下测试层切分与张量切分跑大模型。结果显示多卡收益不稳定:Qwen 3.8 Q6_K 仅 30tg、Gemma 4 QAT 32tg、Qwen Flash Next Q4_K_M 仅 9tg,均低于 R9700 单卡成绩(分别为 40tg、50tg、14tg)。作者怀疑受 PCIe 延迟或较慢的 Ada 卡限制,并询问这套装置是否更适合智能体主从分工等用途。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMANVIDIA + AMD 混合多 GPU 装置怎么用:LocalLLaMA 用户搭配 R9700 与 RTX 4500 Ada 跑 LLM 的实测
一位 LocalLLaMA 用户用 AMD Radeon AI Pro R9700(32GB)加 NVIDIA RTX 4500 Ada(24GB)组成混合多 GPU 装置,在 Llama.cpp 的 Vulkan 后端下测试层切分与张量切分跑大模型。结果显示多卡收益不稳定:Qwen 3.8 Q6_K 仅 30tg,Gemma 4 QAT 32tg、Qwen Flash Next Q4_K_M 仅 9tg,均低于 R9700 单卡成绩,作者怀疑受 PCIe 延迟或较慢的 Ada 卡限制,并询问这套装置更适合做智能体主从分工等用途。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。