跳到正文
我的
GitHub · 去对齐工具与仓库·· 9 小时前AI 评分40

DeepSeek-V4.1-Flash-1017 在 TPU v5p 上的 EP 扩展与 P/D 分离推理基准测试

ankdeshm/deepseek-v4.1-flash-1017-tpu-v5p-inference

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ankdeshm/deepseek-v4.1-flash-1017-tpu-v5p-inference

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

在 GKE 上使用 32 芯片 TPU v5p 切片(ct5p-hightpu-4t × 8 主机,2x4x4 compact ICI 拓扑,95 GiB HBM/chip)对 deepseek-ai/DeepSeek-V4.1-Flash-1017 进行基准测试,测量 Expert Parallelism(EP=8 → EP=16 → EP=24/32)下的 decode 吞吐扩展及 llm-d prefill/decode(P/D)分离效果。该实验仅作为切片内 EP 扩展趋势评估,TPU v5p 无原生硬件 FP8/MXFP4,单芯片绝对吞吐不与 TPU v7x 对比。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。