跳到正文
AIHOT · 精选· noreply@aihot.news (IBM Research:AI)·· 7 天前AI 评分29

llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪

来源与原文

AIHOT · 精选

作者:noreply@aihot.news (IBM Research:AI)

发布时间:(北京时间)

阅读原始来源 · aihot.news ↗
完整链接与内容说明

https://aihot.news/items/b1pcaa7ceghor24vjgsjagqqd

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

由 IBM、Red Hat 和 Google 等主导的开源项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0。该版本是一个 Kubernetes 原生的分布式推理服务框架,声称支持任意模型、任意加速器和任意云,正式走向生产就绪。

来源:AIHOT · 精选 · aihot.news