跳到正文
GitHub · 灵魂体仓库·· 17 天前精选AI 评分61

anvai-labs 开源 AI 用量网关 Sandhi,为共享密钥提供按人计量与预算

anvai-labs/sandhi

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/anvai-labs/sandhi

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

anvai-labs 在 GitHub 开源了 Sandhi,一个面向 AI 智能体的用量计量网关,解决共享 provider API key 无法回答谁花了多少、无法按人预算的问题。核心功能包括虚拟密钥按 subject_id/group_id 归属、基于租约账本的 per-user/per-team token 预算与限流、统一 provider 传输(Anthropic、OpenAI 兼容约 20 家、Gemini、Cohere、本地 vLLM/Ollama)以及只输出 token、cache 拆分、GPU-seconds 等中立单位而不涉及定价。

推荐理由

原文完整说明了共享 API key 场景下的按人计量与预算方案,可作部署参考。

来源:GitHub · 灵魂体仓库 · github.com