跳到正文
GitHub · 去对齐工具与仓库·· 11 天前AI 评分49

LLMix:面向 Python、TypeScript 和 Rust 的配置驱动 LLM 调用层

GretaGalli03856/llmix

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/GretaGalli03856/llmix

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

LLMix 是一个介于应用与 provider SDK 之间的配置驱动 LLM 调用层,支持 Python、TypeScript 和 Rust,无需重写 OpenAI、Anthropic、Gemini、LiteLLM 或 AI SDK 代码。它将模型行为移入 MDA 预设,把响应缓存(L1 内存加可选 Redis L2)、key 池轮换、重试、熔断、singleflight 和 AIMD 自适应并发等能力包在调用外层,模型切换通过发布编译后的 registry 版本实现,无需重新部署。

来源:GitHub · 去对齐工具与仓库 · github.com