GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分55
llm-slo-checker 开源：用 YAML 以代码方式检测 LLM 接口 SLO
amarrtech/llm-slo-checker
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/amarrtech/llm-slo-checker
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
amarrtech 在 GitHub 开源 llm-slo-checker，面向 OpenAI 兼容流式 LLM 接口，用 YAML 声明 SLO 阈值，探测后输出 PASS、FAIL 或 INCONCLUSIVE 结论并以退出码 0/1/2 接入 CI。工具跟踪 TTFT p95/p99、成功率、完成率等 SLI，区分流中断与 500 错误，可在 GitHub Actions 每小时运行并把 JSON 历史提交到 git 形成趋势记录。当前版本不支持 Prometheus 导出、成本与输出质量 SLI 等，作者已列出后续计划。
推荐理由
把流式 LLM 接口的可靠性做成 YAML 声明的 SLO，用 git 记录趋势，方法可直接迁移到自己的监控流程。
来源：GitHub · 去对齐工具与仓库 · github.com