跳到正文
GitHub · 灵魂体仓库·· 19 天前AI 评分48

LedgerLLM:一个带租户级成本分摊、配额与审计日志的多租户 LLM API 开源项目

surajguduru/LedgerLLM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/surajguduru/LedgerLLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 LedgerLLM 提供多租户 LLM API,核心功能仅是摘要任意 URL 或文本,重点在于 SaaS 化所需的外围设施。它支持 free/pro/enterprise 套餐与每分钟限流、租户月度预算(80% 软警告、超限返回 HTTP 402)、以整数微美元记录每次调用的成本账本,并内置提示词注入检测、输出审核、幂等键、PII 脱敏和 CI 评测门禁。项目基于 SQLite 开箱即用,可用 Gemini API key 或任意 OpenAI 兼容端点(groq、openai、openrouter、ollama、anthropic),默认模型为 gemini-3.5-flash-lite 和 gemini-3.8-flash。

来源:GitHub · 灵魂体仓库 · github.com