跳到正文
Reddit · r/LocalLLaMA· /u/SetNo7692·· 3 天前AI 评分41

Strata 实测:Qwen3.8-FN IQ3_S 在 RTX 3070 上跑出 1000pp prefill、40tps decode

Strata: Qwen3.8-FN IQ3_S on a rtx 3070 - 1000pp - 40tps decode

来源与原文

Reddit · r/LocalLLaMA

作者:/u/SetNo7692

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xdoclb/strata_qwen38fn_iq3_s_on_a_rtx_3070_1000pp_40tps/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户分享在 RTX 3070 + Ryzen 5 5600 平台上用 Strata 引擎运行 Qwen3.8-FN IQ3_S 的配置与结果,达到 1000pp prefill 和 40tps decode,上下文设为 262144。相比默认配置(关闭 mtp),开启 STRATA_HC_Q8 与 CPU 分担 prefill 带来主要提速,GPU unlock 额外带来约 50-100tps prefill。

来源:Reddit · r/LocalLLaMA · reddit.com