跳到正文
GitHub · 去对齐工具与仓库·· 15 天前精选AI 评分59

JawadulHadi 发布 llm-provider-gateway:统一多 LLM 提供商的 TypeScript 网关

JawadulHadi/llm-provider-gateway

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/JawadulHadi/llm-provider-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

JawadulHadi 在 GitHub 发布 llm-provider-gateway,一个零运行时依赖(仅 zod)的 TypeScript 网关层,统一对接 Ollama、OpenAI 兼容服务(OpenAI、Groq、OpenRouter、LM Studio 等)和 Anthropic。特性包括统一 ProviderError 错误类型、等抖动指数退避重试、基于 Promise.race 与 AbortSignal 的超时、熔断器、按价格表计算 costUsd,以及用 zod 校验 JSON 并给模型一次修复机会。设计上 400 快速失败不回退、认证错误不重试但回退、价格作为配置而非代码;已知限制是无流式输出、无工具调用透传、熔断状态仅存进程内存。

推荐理由

作者讲清了多提供商网关的容错设计取舍,包括错误归一、退避抖动与熔断策略,适合部署参考。

来源:GitHub · 去对齐工具与仓库 · github.com