Reddit · r/LocalLLaMA· /u/Chuyito·· 12 天前AI 评分54
Reddit 用户用 2x 4060 张量并行加 RPC 卸载 drafter，将 llama.cpp 上下文从 150k 提升到 195k
The space is moving quick. 2x 4060 Tensor Parallel main weights. RPC offload the drafters to amd strix. Got +2-3GB Vram for context at no perf cost.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Chuyito
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6qq0j/the_space_is_moving_quick_2x_4060_tensor_parallel/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/Chuyito 在 r/LocalLLaMA 分享了在 llama.cpp 上混用 Nvidia 与 AMD 硬件的方案：保持 split-mode tensor 张量并行跑主模型权重，并通过修改 llama-rpc 把 drafter 卸载到 AMD Strix，释放 2-3GB 显存用于上下文，上下文从 150k 提升到 195k，张量并行速度不变。
来源：Reddit · r/LocalLLaMA · reddit.com