跳到正文
Reddit · r/LocalLLaMA· /u/shayanx45·· 9 天前精选AI 评分60

2x DGX Spark 本地部署 DeepSeek-V4.1-Flash-1017:TensorFold 比 vLLM kit 快 2.1-2.3x

DeepSeek V4.1 Flash 1017 on 2x DGX Spark: 57 tok/s text, 92 tok/s code with TensorFold (2.1-2.3x the vLLM kit)

来源与原文

Reddit · r/LocalLLaMA

作者:/u/shayanx45

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x8q6t6/deepseek_v41_flash_1017_on_2x_dgx_spark_57_toks/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/shayanx45 在 2x DGX Spark(TP=2 经 CX7 线连接)上以 EXL3 2.9bpw、1M 上下文运行 DeepSeek-V4.1-Flash-1017,实测 TensorFold 较 vLLM kit 快 2.1-2.3x:文本解码 27.0→56.8 tok/s,代码 39.9→92.2 tok/s,64K大海捞针 80.4s→35.9s;8K-64K 冷 prefill 约 2.1-2.2x,1M(1,034,753 tokens)达 1,246 tok/s。提示词缓存可跨重启恢复,18K 对话从 16.8s 降至 2.7s。部署配方与 HF 卡片已公开,引擎来自 bertholomus 的 V4.1 port,host 调优将随下次更新进仓库。

推荐理由

作者用同一对硬件和同一组提示词给出 vLLM kit 与 TensorFold 的逐项对比数据,可复现的部署配方已开源到 GitHub。

来源:Reddit · r/LocalLLaMA · reddit.com