跳到正文
热点事件持续更新

用户实测NVIDIA+AMD混合多卡跑llama.cpp:速度反低于单卡

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

一位 r/LocalLLaMA 用户用 AMD Radeon AI Pro R9700(32GB)加 NVIDIA RTX 4500 Ada(24GB)组成混合双卡,在 llama.cpp 的 Vulkan 后端下测试层切分与张量切分跑大模型。结果显示多卡收益不稳定:Qwen 3.8 Q6_K 仅 30tg、Gemma 4 QAT 32tg、Qwen Flash Next Q4_K_M 仅 9tg,均低于 R9700 单卡成绩(分别为 40tg、50tg、14tg)。作者怀疑受 PCIe 延迟或较慢的 Ada 卡限制,并询问这套装置是否更适合智能体主从分工等用途。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Reddit · r/LocalLLaMA
    NVIDIA + AMD 混合多 GPU 装置怎么用:LocalLLaMA 用户搭配 R9700 与 RTX 4500 Ada 跑 LLM 的实测

    一位 LocalLLaMA 用户用 AMD Radeon AI Pro R9700(32GB)加 NVIDIA RTX 4500 Ada(24GB)组成混合多 GPU 装置,在 Llama.cpp 的 Vulkan 后端下测试层切分与张量切分跑大模型。结果显示多卡收益不稳定:Qwen 3.8 Q6_K 仅 30tg,Gemma 4 QAT 32tg、Qwen Flash Next Q4_K_M 仅 9tg,均低于 R9700 单卡成绩,作者怀疑受 PCIe 延迟或较慢的 Ada 卡限制,并询问这套装置更适合做智能体主从分工等用途。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。