跳到正文
GitHub · 灵魂体仓库·· 7 天前AI 评分50

Osysharp.LlmRouter v0.2.0 发布:用一份策略声明统一路由应用的多模型调用

osysharp/llmrouter

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/osysharp/llmrouter

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

osysharp 发布 Osysharp.LlmRouter v0.2.0,一个 Osy# 路由策略库,应用声明一次模型清单后,Llm.Complete、Llm.Stream、Llm.Extract<T>、Llm.Decide<T> 等调用全部经由它分发,调用点无需指定模型。路由按固定顺序决策:能力与上下文窗口过滤、按任务类型与步骤的质量下限、按 MaxCostMicros 的成本上限、调用点请求只允许收窄,否则 DENIED 而非静默替换,最后按决策模型优先、重试升级、batch 端点、最便宜的顺序选择,该顺序同时是 provider 故障时的 fallback 顺序。

来源:GitHub · 灵魂体仓库 · github.com