Reddit · r/LocalLLaMA· /u/jonejy·· 13 天前AI 评分30
用二手件组装双 RTX 3090 本地 LLM 主机,为何速度提升不及预期?
I built a cheap dual 3090 rig from used parts, but why isn't it much faster?
来源与原文
Reddit · r/LocalLLaMA
作者:/u/jonejy
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5mohk/i_built_a_cheap_dual_3090_rig_from_used_parts_but/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户用二手硬件组装了双 RTX 3090(24GB)本地 LLM 主机,搭配 Ryzen 9 5950X 与 128GB DDR4 内存,运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4,测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现:能装进单卡的模型加第二卡收益有限,长上下文下 prefill 明显变慢,尚未做受控 benchmark,正在排查 KV cache、内存带宽与 GPU 通信的影响。
来源:Reddit · r/LocalLLaMA · reddit.com