跳到正文
GitHub · 灵魂体仓库·· 5 天前精选AI 评分60

StephanMeijer 开源 llmproxy:LLM API 反向代理工具

StephanMeijer/llmproxy

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/StephanMeijer/llmproxy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

StephanMeijer 在 GitHub 发布 llmproxy,一个带鉴权和限流的反向代理,置于 LLM 客户端与各家 provider API 之间,客户端只持有代理 token,provider 密钥留在服务端,全部配置写在单个 TOML 文件。超限请求按到达顺序排队等待而非直接拒绝,超过 max_wait 默认 120s 才返回 429;上游 429 可按 Retry-After 自动重试,支持 SSE 流式透传、tool_choice 自动补全 shim、Prometheus 指标和 JSON 日志。项目为 Rust 实现,CI 要求 clippy 严格检查且行覆盖率不低于 99%;模型池与 Claude 订阅适配器尚未实现。

推荐理由

README 完整给出了鉴权、限流排队和凭据隔离的工作方式与配置细节,读者可据此判断是否适合放在自己的客户端与模型 API 之间。

来源:GitHub · 灵魂体仓库 · github.com