GitHub · 灵魂体仓库·· 19 天前精选AI 评分70
CustomsColab 开源 freellm 免费动态 LLM 路由器
CustomsColab/Free_Dynamic_LLM_Gateway
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/CustomsColab/Free_Dynamic_LLM_Gateway
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
CustomsColab 在 GitHub 发布 freellm,一个自愈式免费 LLM 路由器,把 Groq、Cerebras、Gemini、OpenRouter :free、Mistral、NVIDIA NIM、Together、Fireworks、Token Harbor 等免费额度聚合为一个调用。GitHub Actions 每 6 小时刷新公共模型注册表 registry/models.,路由器按任务类型、质量与速度评分选模型;各网关的当日配额状态记录在本地 .freellm_state. 账本中,支持 429 限速、模型冷却、网关标记与失败切换,按 00:00 UTC 重置。作者提醒免费路由可能记录或训练提示词,不建议发送机密数据,且目前不支持流式与异步工具。
推荐理由
原文讲清了一个免费 LLM 路由器的注册表刷新、配额账本和失败切换机制,读者可以直接照步骤搭建复用。
来源:GitHub · 灵魂体仓库 · github.com