GitHub · 去对齐工具与仓库·· 5 天前AI 评分42
LLMApiGateway:本地容错个人 LLM 网关
LKosoj/LLMApiGateway
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/LKosoj/LLMApiGateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源项目 LLMApiGateway 是一个本地运行的 OpenAI 兼容个人 LLM 网关,支持多供应商模型的容错切换、负载均衡、模型轮换和自定义请求参数,可用于 Cline、RooCode 等代码智能体。网关在主模型出错时自动切换 fallback 模型,对 429 和日配额错误按 90 秒到 86400 秒的阶梯升级 cooldown,并通过 tiktoken 在流中断时本地估算 token 用量,同时按小时、天、周、月统计成本与 token 消耗。
来源:GitHub · 去对齐工具与仓库 · github.com