Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B
开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl,可在单张 RTX 4090(24GB)加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash,权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3,同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。
推荐理由:作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据,方案可直接复现。