律师公开 DGX Spark 双机部署 DeepSeek-V4.1-Flash 基准数据
先了解这件事
PLI Labs 创始人 Nick Mermiges 在 Reddit r/LocalLLaMA 发布了用两台 DGX Spark 运行 DeepSeek-V4.1-Flash-1017 的完整部署方案与基准数据：采用 2.75 bpw EXL3 量化、vLLM 张量并行，另用一台 EPYC 3090 旧机经 RDMA 提供 Engram 表并跑 DSpark 投机草稿。结果显示 256K 预填充达 2,618 tok/s，4 流结构化 JSON 输出 322 tok/s，1.93M token KV 池加 NVMe 前缀缓存使 150K 提示词重启后首 token 2.58 秒。与 MiaAI、bertholomus 的构建对比，该方案预填充和代码生成更快，纯散文和解码较慢；其 KLD 面板显示工具调用 top token 一致率 95.9%。代码、启动脚本、基准工具及各单元格原始 JSON 均已公开，仅前缀缓存代码将在下次推送中发布。
AI 根据报道生成 · 13 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选DeepSeek-V4.1-Flash 在 2x DGX Spark 加 3090 旧机上跑出 2600+ tok/s 预填充并公开全套代码与数据
律师 Nick Mermiges（PLI Labs）以 2.75 bpw EXL3 量化在两台 DGX Spark 上以 vLLM 张量并行运行 DeepSeek-V4.1-Flash-1017，并用一台 EPYC 3090 旧机经 RDMA 提供 Engram 表、跑 DSpark 投机草稿。256K 预填充达 2,618 tok/s，4 流结构化 JSON 输出 322 tok/s，1.93M token KV 池加 NVMe 前缀缓存使 150K 提示词重启后首 token 2.58 秒。与 MiaAI、bertholomus 构建对比：预填充和代码生成更快，纯散文和解码较慢；KLD 面板工具调用 top token 一致率 95.9%。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 1010月31日 15:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。