跳到正文
我的
热点事件持续更新

双5060Ti本地推理实测:解码70-95 t/s

1 篇报道1 个报道来源59 分钟前更新

先了解这件事

AI 综述

Reddit 用户 chocofoxy 分享双 RTX 5060 Ti 16GB 本地推理配置:用 capy-flash 搭配 OpenCode 运行 Qwen3.8-27B NVFP4 量化,跨两张卡张量并行并启用 MTP 投机解码与 int8 KV cache,实测解码 70-95 t/s、176K 上下文下预填充约 1,500 t/s。 将第二张卡从芯片组移到 CPU PCIe 通道后,首 token 时间缩短约 2.5 倍、批处理吞吐翻倍;启用 P2P 仅带来约 5% 解码提升。该用户称当前运行在 PCIe Gen3(缺 Gen4 延长线),理想配置下全上下文预填充约 3,000 t/s、解码 70-120 t/s,但 Gen4 一栏为估算值、尚未实测。

AI 根据报道生成 · 15 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. Reddit · r/LocalLLaMA
    双 RTX 5060 Ti 本地推理配置:Qwen3.8-27B NVFP4 达 70-95 t/s 解码

    Reddit 用户 chocofoxy 分享双 RTX 5060 Ti 16GB 本地推理配置,用 capy-flash 搭配 OpenCode 运行 Qwen3.8-27B NVFP4 量化,跨两张卡张量并行并启用 MTP 投机解码与 int8 KV cache,解码达 70-95 t/s、176K 上下文下预填充约 1,500 t/s。将第二张卡从芯片组移到 CPU PCIe 通道后,首 token 时间缩短约 2.5 倍、批处理吞吐翻倍;P2P 仅带来约 5% 解码提升。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。