Reddit · r/LocalLLaMA· /u/indrasmirror·· 9 天前精选AI 评分60
Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B
Xolotl (Strata based) - DeepSeek-V4.1-Flash (552B) on a single 4090 at ~27 tok/s, Uncensored 1017 quant coming in a couple of days
来源与原文
Reddit · r/LocalLLaMA
作者：/u/indrasmirror
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x8m0jj/xolotl_strata_based_deepseekv41flash_552b_on_a/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl，可在单张 RTX 4090（24GB）加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash，权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3，同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。
推荐理由
作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据，方案可直接复现。
来源：Reddit · r/LocalLLaMA · reddit.com