跳到正文
GitHub · 灵魂体仓库·· 2 天前AI 评分49

InferiaLLM:用于生产环境运行 LLM 的自托管操作系统

InferiaAI/InferiaLLM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/InferiaAI/InferiaLLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

InferiaLLM 是一个自托管的 LLM 生产运行操作系统,位于应用与 AI 基础设施之间,提供访问控制与 RBAC、速率限制与 token 预算、毒性/PII 内容扫描、OpenAI 兼容推理网关、GPU 编排和审计日志等平台能力。整个平台以单端口应用(APP_PORT 默认 8000)部署,由控制面加数据面组成,配套 Go 编写的 inferia-worker GPU 节点代理和 InferiaAllSpark 一体化部署方案,支持自托管与云端算力。

来源:GitHub · 灵魂体仓库 · github.com