律师用 8 张 V100 跑 DeepSeek-V4.1-Flash：代码 215 tok/s、524K 上下文

一位律师在 8 张 2018 年的 Tesla V100-SXM2-32GB 上部署 2-bit GGUF 版 DeepSeek-V4.1-Flash，采用 pipeline parallel 2 x tensor parallel 4，代码生成达 215 tok/s、法律写作约 118 tok/s，128K 预填充约 2,200 tok/s，单请求支持 524,288 token 上下文。作者称约 50-60% 的现有 LLM 工作流可改由该模型承担，并把它接入 Claude Code 处理案件文件。质量方面 LegalBench 平衡准确率 0.716、MMLU-Pro 79.9%，与全精度版本相比通用面板下一 token 一致率 89.0%，差距主要来自 2-bit 量化。