跳到正文
AIHOT · 精选· noreply@aihot.news (Latent Space)·· 5 天前精选AI 评分63

DeepSeek 开源 DeepInfer 推理框架,披露单集群 155T tokens/日与约 80% 推理毛利

来源与原文

AIHOT · 精选

作者:noreply@aihot.news (Latent Space)

发布时间:(北京时间)

阅读原始来源 · aihot.news ↗
完整链接与内容说明

https://aihot.news/items/kysfozri23ussk8bv9e0zbf4h

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

DeepSeek 在 PyTorch Conf 期间开源 DeepInfer,即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制,支持 NVIDIA SM100 与华为昇腾 950,并配套发布 deepseek-recipe。

推荐理由

DeepSeek 放出生产级推理栈本身罕见,单集群吞吐与推理毛利数字可作推理成本侧的参照。

来源:AIHOT · 精选 · aihot.news