GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分62
adaptive-llm-router 开源:按置信度在本地 LLM 与 Claude 间分层路由降成本
manojanuragi/adaptive-llm-router
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/manojanuragi/adaptive-llm-router
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
manojanuragi 发布 Adaptive LLM Router(ALR)Phase-1 MVP,一个基于规则的路由器,把任务按确定性工具 → 本地 LLM(Ollama)→ 前沿 LLM(Claude)分层派发,置信度低于 0.70 时自动升级到前沿模型。Tier 2 支持 Claude CLI(按 Pro/Max 订阅计费,可用 CLAUDE_CODE_OAUTH_TOKEN 无头认证)或 Anthropic Messages API 两种传输。内置上下文防火墙、策略引擎、API 鉴权、限流、Postgres/Redis 多副本扩缩容和完整评测框架。
推荐理由
README 详细列出了已实现与未实现组件、成本基准和局限说明,读者可以借此了解分层路由方案的实际可复用程度。
来源:GitHub · 去对齐工具与仓库 · github.com