跳到正文
Reddit · r/LocalLLaMA· /u/sisyphus-cycle·· 17 小时前精选AI 评分70

Strata 调参实战:RTX 4090 跑 Qwen3.8-Flash-Next IQ3_S 达 2076 PP 与 95-105 tok/s 解码

Tuned Strata config, 2000 PP and 95-105 mean tg

来源与原文

Reddit · r/LocalLLaMA

作者:/u/sisyphus-cycle

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xfe04h/tuned_strata_config_2000_pp_and_95105_mean_tg/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参,附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%;同时给出负面结果,--expert-cache 按 MiB 而非槽位设置(填满显存时 −72%)、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。

推荐理由

作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位,附完整可用配置。

来源:Reddit · r/LocalLLaMA · reddit.com