跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分58

llm-budget-guard 开源:为 OpenAI 与 Anthropic 调用加每日花费限额和重试循环检测

BiztechEG/llm-budget-guard

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/BiztechEG/llm-budget-guard

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

BiztechEG 在 GitHub 发布 llm-budget-guard,通过包装官方 SDK 客户端,按响应实际 token 用量计价,执行按用户、按功能和每日总额的美元限额,并检测短时间重复发送的同一请求。支持流式与异步,限额每日 UTC 零点重置,价格表可通过 pricing. 运行时修改,尚未跟踪 batches、embeddings、images 和 audio,计费总数存于内存,可自实现 Storage 接口跨服务器共享,MIT 许可。

推荐理由

原文给出完整用法、限额行为和未覆盖范围,读者可以直接评估这个成本守护库是否适合自己的部署。

来源:GitHub · 去对齐工具与仓库 · github.com