Delta Inference Engine v0.93 更新：单卡 RTX 3090 本地跑 DeepSeek-V4.1-Flash-1017，64 GB 内存可用、首 token 快约 40%
DeepSeek-V4.1-Flash-1017 on one RTX 3090: Big updates to the Delta Inference Engine v0.93. Same 41 tok/s at 192GB/IQ2 at better quality, usable from 64 GB RAM, first token ~40% sooner, new Unsloth quants at full speed, EXL3, basic multi-GPU, public CI and more
来源与原文
Reddit · r/LocalLLaMA
作者：/u/musicurgy
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xoq4vq/deepseekv41flash1017_on_one_rtx_3090_big_updates/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
/u/musicurgy 发布 Delta Inference Engine v0.93，在单张 RTX 3090 24 GB 加 192 GB 内存上以 41 tok/s 运行 DeepSeek-V4.1-Flash-1017，新增 64/96/128 GB 内存档位支持、Unsloth 量化全速直读 Engram 表、EXL3、基础多 GPU 和 GitHub Actions 公开 CI。99 题自建基准上 UD-IQ2_XXS 得 57 分，距完整模型 API 的 59 分仅 2 分，比上一版 ds4 Q2 的 52 分提高，且整体少用 11% token；约 180 token 提示词的首 token 时间从约 3.8 s 降到 2.3 s。
作者自己给出了各 RAM 档位的 tok/s 表、99 题基准分和与官方 API 的一致率，量化选型数据可直接迁移到本地部署决策。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。