跳到正文
Reddit · r/LocalLLaMA· /u/zipzak·· 17 天前精选AI 评分72

RTX 5090 上实测 Qwen3.8-Flash-Next:Infernix NVFP4 对比 Strata,512k 上下文解码 137 tok/s

Qwen Flash Next @ 137 tok/s & 3,497 tok/s Prefill w/ 512k context on a 5090, 192gb ram, Windows Build, comparing Strata and Infernix

来源与原文

Reddit · r/LocalLLaMA

作者:/u/zipzak

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x217go/qwen_flash_next_137_toks_3497_toks_prefill_w_512k/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/zipzak 在 5090 + 192GB Windows 机器上,对 Qwen3.8-Flash-Next Uncensored(abliterated checkpoint)做了 Strata 0.1.41(Q4_K_S)与 Infernix 2026.10.09.2(NVFP4)的同日 A/B 评测。结果为 Infernix 512k 上下文解码 137.0 tok/s、冷预填充 3,497 tok/s,262k 下比 Strata 快约 23%;两者 PPL 统计持平,视觉功能均可用,作者将 Infernix 作为日常主力。

推荐理由

作者在同一硬件与同一推理契约下对两个推理引擎做同日 A/B 实测,给出了解码速度、预填充、质量和冷启动数据,方法可参考。

来源:Reddit · r/LocalLLaMA · reddit.com