AIHOT · 精选· noreply@aihot.news (Latent Space)·· 5 天前精选AI 评分63
DeepSeek 开源 DeepInfer 推理框架,披露单集群 155T tokens/日与约 80% 推理毛利
来源与原文
AIHOT · 精选
作者:noreply@aihot.news (Latent Space)
发布时间:(北京时间)
阅读原始来源 · aihot.news ↗完整链接与内容说明
https://aihot.news/items/kysfozri23ussk8bv9e0zbf4h
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
DeepSeek 在 PyTorch Conf 期间开源 DeepInfer,即支撑 V4.1 Flash 的生产推理栈。该框架基于 vLLM 定制,支持 NVIDIA SM100 与华为昇腾 950,并配套发布 deepseek-recipe。
推荐理由
DeepSeek 放出生产级推理栈本身罕见,单集群吞吐与推理毛利数字可作推理成本侧的参照。
来源:AIHOT · 精选 · aihot.news