跳到正文
GitHub · 灵魂体仓库·· 10 天前AI 评分26

llm-d Resiliency Operator:自动检测并恢复 llm-d 推理工作负载故障的 Kubernetes Operator

llm-d-incubation/llm-d-resiliency-operator

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/llm-d-incubation/llm-d-resiliency-operator

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

llm-d-incubation 开源了 llm-d Resiliency Operator(IRO),一个可自动检测 llm-d 推理工作负载故障并触发恢复的 Kubernetes Operator,让多节点模型服务器在服务降级后无需人工干预即可恢复健康。项目处于早期开发阶段,采用 Apache License 2.0 许可,需 Go 1.25+ 和 Docker 环境,支持 make build、make test 等常用命令并接受社区贡献。

来源:GitHub · 灵魂体仓库 · github.com