Betelgeuse 在 RTX 3060 12GB 上跑 DeepSeek V4.1 Flash Q8_XL,预填充提速到 61.80 tok/s
Betelgeuse running DeepSeek V4.1 Flash Q8_XL (1017) at 19 tok/s decode & 62 tok/s prefill on an RTX 3060 12GB + 16GB RAM: How we finally fixed the prefill bottleneck on out-of-core MoEs
来源与原文
Reddit · r/LocalLLaMA
作者:/u/zyxciss
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xqfekg/betelgeuse_running_deepseek_v41_flash_q8_xl_1017/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
Betelgeuse 在 RTX 3060 12GB 加 16GB 单通道 DDR4 的机器上运行 DeepSeek V4.1 Flash Q8_XL(305.6+110.6GB),预热后预填充达 61.80 tok/s、解码 18.15–18.92 tok/s。作者称此前 out-of-core MoE 的预填充只有 3–6 tok/s,靠每层 20 个常驻槽位、16-token 单遍 layer-major 预填充和首遍结束后的物理 VRAM 整合三项改动解决瓶颈。110GB Engram 表全程留在 NVMe SSD 上,每 token 只取约 192 KB 活跃行,缓存预热后磁盘读取降到 0.00%。
作者给出了在 12GB 显存加 16GB 内存的消费级机器上跑 416GB MoE 的具体分层与预填充做法,可迁移到其他 out-of-core 部署。
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。