CodeCoreLab 开源单文件多端点 LLM 路由客户端 llm-router
先了解这件事
CodeCoreLab 在 GitHub 开源了单文件 Python 模块 llm-router，用于在多个 LLM 供应商之间做路由，核心能力包括 P1→P12 优先级候选路由、熔断（300 秒冷却并按实测延迟重排端点）、多 key 轮换、推理预算耗尽时自动放大 max_tokens 重试、强制 JSON Schema 结构化输出的 call_llm_json()，以及带 deadline 闸和进程内 Prompt 缓存（TTL 默认 300 秒）。 该项目仅依赖 requests，密钥通过环境变量读取不落盘，单元测试可完全离线运行；仅支持 OpenAI chat.completions 兼容协议（绝大多数网关与本地推理框架均兼容）。熔断状态为进程内态，多进程部署时各进程独立治愈，不跨进程共享。项目地址：https://github.com/CodeCoreLab/llm-router。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选CodeCoreLab 开源单文件多端点 LLM 路由客户端 llm-router
CodeCoreLab 在 GitHub 发布单文件 Python 模块 llm-router，用于多 LLM 供应商路由。核心功能包括 P1→P12 优先级候选路由、熔断 300s 冷却并按实测延迟重排端点、多 key 轮换、推理预算耗尽时自动放大 max_tokens 重试、call_llm_json() 强制 JSON Schema 结构化输出、deadline 预算闸与进程内 Prompt 缓存（TTL 默认 300s）。仅依赖 requests，密钥走环境变量不落盘，单元测试全部离线运行；仅支持 OpenAI chat.completions 兼容协议。项目地址：https://github.com/CodeCoreLab/llm-router。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月1日 10:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。