Reddit · r/LocalLLaMA· /u/musicurgy·· 2 小时前精选AI 评分71
DeepSeek-V4.1-Flash-1017 Q2 量化在单张 RTX 3090 上跑出 41 tok/s
DeepSeek-V4.1-Flash-1017 at 41 tok/s on one 3090
来源与原文
Reddit · r/LocalLLaMA
作者：/u/musicurgy
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xh9yf7/deepseekv41flash1017_at_41_toks_on_one_3090/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/musicurgy 发布 delta-inference-engine，可在 Windows 原生环境（无 WSL）用单张 RTX 3090 加 192 GB 内存运行 nazeshinjite 的 DeepSeek-V4.1-Flash-1017 Q2 GGUF，多提示词平均 41 tok/s，输出与 DeepSeek 官方 API 的 next-token 一致率达 90.2%（通用文本）和 92.4%（代码/数学），支持完整 1M 上下文。
推荐理由
作者实测了 DeepSeek-V4.1-Flash-1017 多个量化版本在单张 3090 上的速度和与官方 API 的 next-token 一致率，数据可直接对照。
来源：Reddit · r/LocalLLaMA · reddit.com