热点事件持续更新

Reddit用户用4张和8张V100跑DeepSeek-V4.1-Flash

2 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Reddit用户 /u/TumbleweedNew6515 在 4 张 V100 SXM2 32GB（NVLink 互联）加 256GB 系统内存上运行 DeepSeek-V4.1-Flash，基于 1Cat-vLLM fork 的 Volta 支持，上下文设为 524,288 token。他称 8K–75K 上下文解码为 36–38 tok/s（thinking off）、32–38 tok/s（thinking on），prefill 约 1,000–1,200 tok/s；约三分之一 expert 权重经 pinned host RAM 按需换入 GPU，并用内置 DSpark drafter 做 5 draft token 投机解码。随后他在 8 张 V100-SXM2-32GB 上部署 2-bit GGUF 版，采用 pipeline parallel 2 × tensor parallel 4，单请求、524,288 token 上下文。他称代码生成 215 tok/s、法律写作约 118 tok/s、128K 预填充约 2,200 tok/s，256K 提示首 token 约需 2 分钟；质量上 LegalBench 平衡准确率 0.716、MMLU-Pro 79.9%，与全精度版本通用面板下一 token 一致率 89.0%，差距主要归因于 2-bit 量化。他称约 50–60% 的现有 LLM 工作流可改由该模型承担，并接入 Claude Code 处理案件文件。四路并发约 1.8 倍总吞吐是其预测而非实测；19 个调优 PR 已提交 1Cat-vLLM，新增加速开关默认关闭。

AI 根据报道生成 · 7 小时前更新

事件进展

2 个进展

11月6日 05:07 · 1 篇报道
八张V100跑DeepSeek-V4.1-Flash实测
Reddit · r/LocalLLaMA：律师用 8 张 V100 跑 DeepSeek-V4.1-Flash：代码 215 tok/s、524K 上下文
11月3日 07:05 · 1 篇报道
作者在4张V100上跑通DeepSeek-V4.1-Flash并给出基准数据
Reddit · r/LocalLLaMA：DeepSeek-V4.1-Flash 在 4 张 V100 32GB 上跑到 40 tok/s 解码，下一步将测试 8 卡

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

05:07
Reddit · r/LocalLLaMA精选
律师用 8 张 V100 跑 DeepSeek-V4.1-Flash：代码 215 tok/s、524K 上下文
一位律师在 8 张 2018 年的 Tesla V100-SXM2-32GB 上部署 2-bit GGUF 版 DeepSeek-V4.1-Flash，采用 pipeline parallel 2 x tensor parallel 4，代码生成达 215 tok/s、法律写作约 118 tok/s，128K 预填充约 2,200 tok/s，单请求支持 524,288 token 上下文。作者称约 50-60% 的现有 LLM 工作流可改由该模型承担，并把它接入 Claude Code 处理案件文件。质量方面 LegalBench 平衡准确率 0.716、MMLU-Pro 79.9%，与全精度版本相比通用面板下一 token 一致率 89.0%，差距主要来自 2-bit 量化。

11月3日

07:05
Reddit · r/LocalLLaMA
DeepSeek-V4.1-Flash 在 4 张 V100 32GB 上跑到 40 tok/s 解码，下一步将测试 8 卡
Reddit 用户在 4 张 V100 SXM2 32GB（NVLink 互联）加 256GB 系统内存上运行 DeepSeek-V4.1-Flash，基于 1Cat-vLLM fork 的 Volta (sm70) 支持，524,288 token 上下文。8K 上下文解码 36-38 tok/s（thinking off），75K 时 32-38 tok/s，prefill 约 1,000-1,200 tok/s（4K-128K）。约三分之一的 expert 权重通过 pinned host RAM 按需换入 GPU，并使用内置 DSpark drafter 做 5 draft token 的投机解码，后续计划改双 PCIe switch 并升级到 8 卡 V100 测试。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1011月6日 06:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。