Reddit 实测：QEngine 1.3.1 在 2x RTX 5090 上解码最快达 504 tok/s
先了解这件事
Reddit 用户 /u/Relative-Ant-9249 在 2x RTX 5090（各 32 GB）上用同一基准脚本对比四款引擎运行 Qwen3.8-Flash-Next，称 QEngine 1.3.1 单流解码最快：KV-in-VRAM 默认配置 370-439 tok/s，FLASH_KV=ram 模式 406-504 tok/s，约为 Strata 的 1.4-1.9 倍、bucko vLLM 的约 3 倍。agentic 提示延迟与 Strata 持平（1.75 s vs 1.7-1.9 s）。 该用户称 KV-in-RAM 模式可把约 1M token 的 KV 缓存放进 pinned host RAM，8 个约 58K token 会话在 400K token 其他流量后全部热返回（首回 1.56-2.01 s），VRAM 模式仅 2/8 热。代价是显存紧张、需自行编译（README 只列 sm_86，其改 CMAKE_CUDA_ARCHITECTURES 为 120 编译），且运行记录不如 vLLM 或 Strata 成熟。
AI 根据报道生成 · 16 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选Qwen3.8-Flash-Next 在 2x RTX 5090 上实测：QEngine 1.3.1 解码达 504 tok/s，快于其他引擎
作者在 2x RTX 5090（各 32 GB）上用同一基准脚本对比四款引擎运行 Qwen3.8-Flash-Next，QEngine 1.3.1 单流解码最快，KV-in-VRAM 默认配置 370-439 tok/s，FLASH_KV=ram 模式 406-504 tok/s，公平对比约为 Strata 的 1.4-1.9 倍、bucko vLLM 的约 3 倍。agentic 提示延迟与 Strata 持平（1.75 s vs 1.7-1.9 s），KV-in-RAM 模式可把约 1M token 的 KV 缓存放进 pinned host RAM，8 个约 58K token 会话在 400K token 其他流量后全部热返回，首回 1.56-2.01 s，而 VRAM 模式仅 2/8 热。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1010月31日 11:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。