GitHub · 灵魂体仓库·· 17 天前精选AI 评分61
anvai-labs 开源 AI 用量网关 Sandhi,为共享密钥提供按人计量与预算
anvai-labs/sandhi
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/anvai-labs/sandhi
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
anvai-labs 在 GitHub 开源了 Sandhi,一个面向 AI 智能体的用量计量网关,解决共享 provider API key 无法回答谁花了多少、无法按人预算的问题。核心功能包括虚拟密钥按 subject_id/group_id 归属、基于租约账本的 per-user/per-team token 预算与限流、统一 provider 传输(Anthropic、OpenAI 兼容约 20 家、Gemini、Cohere、本地 vLLM/Ollama)以及只输出 token、cache 拆分、GPU-seconds 等中立单位而不涉及定价。
推荐理由
原文完整说明了共享 API key 场景下的按人计量与预算方案,可作部署参考。
来源:GitHub · 灵魂体仓库 · github.com