GitHub · 去对齐工具与仓库·· 18 天前AI 评分32
Arbiter:面向团队本地推理基础设施的多租户 LLM 控制平面开源项目
bluxo1/Arbiter
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/bluxo1/Arbiter
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 Arbiter 是一个面向共享本地推理基础设施团队的多租户 LLM 控制平面,提供 OIDC 身份认证、作用域 API key、经审批的模型目录,以及通过 Ollama 进行受治理的非流式聊天。系统用 PostgreSQL 持久化状态、Redis 做短期请求限速,每次分发消耗一个每日配额单位和模型固定整数 credit;提示词与补全内容不持久化、不留日志。v0.1 仅支持单 Docker Compose 主机上的单个 API worker,`/health/live` 返回 200,`/health/ready` 按保守契约目前返回 503。
来源:GitHub · 去对齐工具与仓库 · github.com