跳到正文
GitHub · 去对齐工具与仓库·· 18 天前AI 评分32

Arbiter:面向团队本地推理基础设施的多租户 LLM 控制平面开源项目

bluxo1/Arbiter

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/bluxo1/Arbiter

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 Arbiter 是一个面向共享本地推理基础设施团队的多租户 LLM 控制平面,提供 OIDC 身份认证、作用域 API key、经审批的模型目录,以及通过 Ollama 进行受治理的非流式聊天。系统用 PostgreSQL 持久化状态、Redis 做短期请求限速,每次分发消耗一个每日配额单位和模型固定整数 credit;提示词与补全内容不持久化、不留日志。v0.1 仅支持单 Docker Compose 主机上的单个 API worker,`/health/live` 返回 200,`/health/ready` 按保守契约目前返回 503。

来源:GitHub · 去对齐工具与仓库 · github.com