GitHub · 去对齐工具与仓库·· 8 天前AI 评分53
subu53 开源 litellm-routing-lab:实测发现 LiteLLM 内置复杂度分类器只是长度门槛
subu53/litellm-routing-lab
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/subu53/litellm-routing-lab
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 Sammy S Mutuku 开源了一个基于 LiteLLM 1.104.0 的成本感知路由网关,按预测的推理需求把请求路由到 Gemini 3.1 Flash-Lite 或 Gemini 3.5 Flash,并实测该分类是否有效。在 60 条标注提示词加 40 条 2x2 对照测试中,发现 LiteLLM 内置启发式分类器在该工作负载上表现为提示词长度门槛而非复杂度分类:词数 AUC 达 0.999 而分类分数仅 0.836,无技术词汇的难题得分归零,默认阈值下没有任何请求被路由到强模型。GCP 部署路径已写好但从未 apply,付费 Jev 分类器路径已配置未运行,成本节省金额未测量。
来源:GitHub · 去对齐工具与仓库 · github.com