Reddit · r/LocalLLaMA· /u/chocofoxy·· 1 小时前AI 评分49
双 RTX 5060 Ti 本地推理配置:Qwen3.8-27B NVFP4 达 70-95 t/s 解码
My setup for 2x 5060TI
来源与原文
Reddit · r/LocalLLaMA
作者:/u/chocofoxy
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xp9v5s/my_setup_for_2x_5060ti/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户 chocofoxy 分享双 RTX 5060 Ti 16GB 本地推理配置,用 capy-flash 搭配 OpenCode 运行 Qwen3.8-27B NVFP4 量化,跨两张卡张量并行并启用 MTP 投机解码与 int8 KV cache,解码达 70-95 t/s、176K 上下文下预填充约 1,500 t/s。将第二张卡从芯片组移到 CPU PCIe 通道后,首 token 时间缩短约 2.5 倍、批处理吞吐翻倍;P2P 仅带来约 5% 解码提升。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。