跳到正文
更多
Reddit · r/LocalLLaMA· /u/Relative-Ant-9249·· 18 小时前精选AI 评分59

Qwen3.8-Flash-Next 在 2x RTX 5090 上实测:QEngine 1.3.1 解码达 504 tok/s,快于其他引擎

Qwen3.8-Flash-Next on 2x RTX 5090 with 504 tok/s decode: QEngine 1.3.1 decodes ~1.5-1.9x faster than the next-best engine I've tried (numbers, caveats, and what still bites)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Relative-Ant-9249

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xjx0ez/qwen38flashnext_on_2x_rtx_5090_with_504_toks/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在 2x RTX 5090(各 32 GB)上用同一基准脚本对比四款引擎运行 Qwen3.8-Flash-Next,QEngine 1.3.1 单流解码最快,KV-in-VRAM 默认配置 370-439 tok/s,FLASH_KV=ram 模式 406-504 tok/s,公平对比约为 Strata 的 1.4-1.9 倍、bucko vLLM 的约 3 倍。agentic 提示延迟与 Strata 持平(1.75 s vs 1.7-1.9 s),KV-in-RAM 模式可把约 1M token 的 KV 缓存放进 pinned host RAM,8 个约 58K token 会话在 400K token 其他流量后全部热返回,首回 1.56-2.01 s,而 VRAM 模式仅 2/8 热。

推荐理由

作者用同一脚本实测四款引擎并给出 decode、prefill 和 KV-in-RAM 数据,还写明了测试的局限与代价,便于读者自行判断适用场景。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。