GitHub · 灵魂体仓库·· 7 天前AI 评分50
Osysharp.LlmRouter v0.2.0 发布:用一份策略声明统一路由应用的多模型调用
osysharp/llmrouter
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/osysharp/llmrouter
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
osysharp 发布 Osysharp.LlmRouter v0.2.0,一个 Osy# 路由策略库,应用声明一次模型清单后,Llm.Complete、Llm.Stream、Llm.Extract<T>、Llm.Decide<T> 等调用全部经由它分发,调用点无需指定模型。路由按固定顺序决策:能力与上下文窗口过滤、按任务类型与步骤的质量下限、按 MaxCostMicros 的成本上限、调用点请求只允许收窄,否则 DENIED 而非静默替换,最后按决策模型优先、重试升级、batch 端点、最便宜的顺序选择,该顺序同时是 provider 故障时的 fallback 顺序。
来源:GitHub · 灵魂体仓库 · github.com