跳到正文
我的
Reddit · r/LocalLLaMA· /u/TumbleweedNew6515·· 3 天前AI 评分49

DeepSeek-V4.1-Flash 在 4 张 V100 32GB 上跑到 40 tok/s 解码,下一步将测试 8 卡

[GPU Lawyer] Deepseek 4.1 Flash 1018 on 4 32GB V100s -- pushing 40 tok/s decode, and will test across 8 v100s next.

来源与原文

Reddit · r/LocalLLaMA

作者:/u/TumbleweedNew6515

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xmcibh/gpu_lawyer_deepseek_41_flash_1018_on_4_32gb_v100s/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Reddit 用户在 4 张 V100 SXM2 32GB(NVLink 互联)加 256GB 系统内存上运行 DeepSeek-V4.1-Flash,基于 1Cat-vLLM fork 的 Volta (sm70) 支持,524,288 token 上下文。8K 上下文解码 36-38 tok/s(thinking off),75K 时 32-38 tok/s,prefill 约 1,000-1,200 tok/s(4K-128K)。约三分之一的 expert 权重通过 pinned host RAM 按需换入 GPU,并使用内置 DSpark drafter 做 5 draft token 的投机解码,后续计划改双 PCIe switch 并升级到 8 卡 V100 测试。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。