跳到正文
Reddit · r/LocalLLaMA· /u/jonejy·· 13 天前AI 评分30

用二手件组装双 RTX 3090 本地 LLM 主机,为何速度提升不及预期?

I built a cheap dual 3090 rig from used parts, but why isn't it much faster?

来源与原文

Reddit · r/LocalLLaMA

作者:/u/jonejy

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x5mohk/i_built_a_cheap_dual_3090_rig_from_used_parts_but/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit 用户用二手硬件组装了双 RTX 3090(24GB)本地 LLM 主机,搭配 Ryzen 9 5950X 与 128GB DDR4 内存,运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4,测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现:能装进单卡的模型加第二卡收益有限,长上下文下 prefill 明显变慢,尚未做受控 benchmark,正在排查 KV cache、内存带宽与 GPU 通信的影响。

来源:Reddit · r/LocalLLaMA · reddit.com