双5060Ti本地推理实测:解码70-95 t/s
热点事件持续更新
双5060Ti本地推理实测:解码70-95 t/s
1 篇报道1 个报道来源59 分钟前更新
先了解这件事
AI 综述
Reddit 用户 chocofoxy 分享双 RTX 5060 Ti 16GB 本地推理配置:用 capy-flash 搭配 OpenCode 运行 Qwen3.8-27B NVFP4 量化,跨两张卡张量并行并启用 MTP 投机解码与 int8 KV cache,实测解码 70-95 t/s、176K 上下文下预填充约 1,500 t/s。 将第二张卡从芯片组移到 CPU PCIe 通道后,首 token 时间缩短约 2.5 倍、批处理吞吐翻倍;启用 P2P 仅带来约 5% 解码提升。该用户称当前运行在 PCIe Gen3(缺 Gen4 延长线),理想配置下全上下文预填充约 3,000 t/s、解码 70-120 t/s,但 Gen4 一栏为估算值、尚未实测。
AI 根据报道生成 · 15 分钟前更新
最新进展11月6日 18:48
双 RTX 5060 Ti 本地推理配置:Qwen3.8-27B NVFP4 达 70-95 t/s 解码报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- Reddit · r/LocalLLaMA双 RTX 5060 Ti 本地推理配置:Qwen3.8-27B NVFP4 达 70-95 t/s 解码
Reddit 用户 chocofoxy 分享双 RTX 5060 Ti 16GB 本地推理配置,用 capy-flash 搭配 OpenCode 运行 Qwen3.8-27B NVFP4 量化,跨两张卡张量并行并启用 MTP 投机解码与 int8 KV cache,解码达 70-95 t/s、176K 上下文下预填充约 1,500 t/s。将第二张卡从芯片组移到 CPU PCIe 通道后,首 token 时间缩短约 2.5 倍、批处理吞吐翻倍;P2P 仅带来约 5% 解码提升。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。