Reddit · r/LocalLLaMA· /u/fuzhongkai·· 3 天前精选AI 评分62
TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017：预fill 吞吐达 llama.cpp 的 4.4–5.5 倍
DeepSeek V4.1 Flash 1017 on 5× A40: TensorSharp vs llama.cpp, with YOCO on/off and quality measurements
来源与原文
Reddit · r/LocalLLaMA
作者：/u/fuzhongkai
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xdho58/deepseek_v41_flash_1017_on_5_a40_tensorsharp_vs/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由
作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
来源：Reddit · r/LocalLLaMA · reddit.com