GitHub · 灵魂体仓库·· 2 天前AI 评分49
InferiaLLM:用于生产环境运行 LLM 的自托管操作系统
InferiaAI/InferiaLLM
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/InferiaAI/InferiaLLM
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
InferiaLLM 是一个自托管的 LLM 生产运行操作系统,位于应用与 AI 基础设施之间,提供访问控制与 RBAC、速率限制与 token 预算、毒性/PII 内容扫描、OpenAI 兼容推理网关、GPU 编排和审计日志等平台能力。整个平台以单端口应用(APP_PORT 默认 8000)部署,由控制面加数据面组成,配套 Go 编写的 inferia-worker GPU 节点代理和 InferiaAllSpark 一体化部署方案,支持自托管与云端算力。
来源:GitHub · 灵魂体仓库 · github.com