跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分62

adaptive-llm-router 开源:按置信度在本地 LLM 与 Claude 间分层路由降成本

manojanuragi/adaptive-llm-router

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/manojanuragi/adaptive-llm-router

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

manojanuragi 发布 Adaptive LLM Router(ALR)Phase-1 MVP,一个基于规则的路由器,把任务按确定性工具 → 本地 LLM(Ollama)→ 前沿 LLM(Claude)分层派发,置信度低于 0.70 时自动升级到前沿模型。Tier 2 支持 Claude CLI(按 Pro/Max 订阅计费,可用 CLAUDE_CODE_OAUTH_TOKEN 无头认证)或 Anthropic Messages API 两种传输。内置上下文防火墙、策略引擎、API 鉴权、限流、Postgres/Redis 多副本扩缩容和完整评测框架。

推荐理由

README 详细列出了已实现与未实现组件、成本基准和局限说明,读者可以借此了解分层路由方案的实际可复用程度。

来源:GitHub · 去对齐工具与仓库 · github.com