跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分67

llm-gateway 开源多供应商 LLM 统一路由网关

DigitalEnterpriseTransformation/llm-gateway

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/DigitalEnterpriseTransformation/llm-gateway

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

DigitalEnterpriseTransformation 在 GitHub 发布 llm-gateway,用统一入口对接 vLLM、SGLang、DeepSeek、OpenRouter、阿里百炼和 KIMI,对外只暴露一个 reasoning_effort 思考开关,并把三种上游思考流形态归一为 delta_reasoning / delta_content 双通道。库用法提供可插中间件的对象流,HTTP 用法兼容 OpenAI SDK,附带模型目录归一、结构化日志与等价性测试。

推荐理由

原文详细说明了把六家不同思考参数与思考流形态归一成统一双通道接口的做法,适合关心多供应商路由与流式中间件插入的读者参考。

来源:GitHub · 灵魂体仓库 · github.com