跳到正文
Reddit · r/LocalLLaMA· /u/hereforcheesee·· 9 天前AI 评分33

网友用 5070 Ti + 3070 组建 Chimera 双卡本地 LLM 方案

My 5070 ti/3070 Chimera build.

来源与原文

Reddit · r/LocalLLaMA

作者:/u/hereforcheesee

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x8u6eg/my_5070_ti3070_chimera_build/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

一位 Reddit 用户将 $750 购入的 5070 Ti 与闲置的 3070 通过 PCIe riser 组成混合双卡,用 Ollama/llama.cpp 拆分运行 Qwen 3.6 35B-A3B(MoE,约 3B 激活参数),在 16k 上下文下达到约 82 tok/s。目前约 23% 的层溢出到系统内存,3070 尚有约 4GB 显存未利用,作者计划调整拆分比例并加装外置 enclosure。

来源:Reddit · r/LocalLLaMA · reddit.com