跳到正文
GitHub · 去对齐工具与仓库·· 17 天前精选AI 评分57

FallbackLens 开源:在上线前审计 LLM 重试与 fallback 策略

Ikteder/fallbacklens

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Ikteder/fallbacklens

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源工具 FallbackLens 可在上线前静态审计 LLM 网关的 retry 与 fallback 策略,导入 LiteLLM YAML 路由图后检查环、能力保持、上下文容量、隐私边界与尝试次数、成本、p95 延迟暴露。其 0.3.2 版通过 61 项测试,并可与绑定 OTLP JSON 推理子树比对检测漂移;官方语料上 FallbackLens 得分 10/10,纯结构基线为 2/10。作者强调该工具不是网关或模型选择器,静态审计不能证明生产可靠性。

推荐理由

项目用合成语料与固定集成测试给出可复核数据,读者能据此评估这类静态 fallback 审计工具能证明什么、不能证明什么。

来源:GitHub · 去对齐工具与仓库 · github.com