跳到正文
Reddit · r/LocalLLaMA· /u/No-Refrigerator-1672·· 20 小时前精选AI 评分73

RTX 3080 20GB 解锁 reBAR 与 P2P,实测 prompt 处理速度提升 70% 以上

RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed

来源与原文

Reddit · r/LocalLLaMA

作者:/u/No-Refrigerator-1672

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xf9kmd/rtx_3080_20gb_got_rebar_and_p2p_unlock_70_prompt/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P,/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%,其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升;开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景(含 agentic coding)可关注该解锁,且需双卡均有完整 PCIe 连接才能获得同等收益。

推荐理由

作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据,可看清该解锁对长上下文预填充的实际收益边界。

来源:Reddit · r/LocalLLaMA · reddit.com