跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分44

llm-regression-engine:面向 LLM 系统的自动化回归测试与红队 CI/CD 平台

prasoon-21/llm-regression-engine

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/prasoon-21/llm-regression-engine

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源项目 prasoon-21/llm-regression-engine 是一个面向 LLM 系统的自动化回归测试、红队测试与 CI/CD 门控平台,集成 LangSmith、Promptfoo、FastAPI、LiteLLM 和 GitHub。它通过 HMAC-SHA256 验证 GitHub Webhook,从 LangSmith 采集 trace,生成提示词注入等对抗性测试用例,并执行 Schema 校验与 LLM-as-a-Judge 评估。平台追踪 P50/P95/P99 延迟与 token 消耗检测回归,将结果以 Commit Status 和 Markdown 报告写回 PR,支持 Docker 部署 5 容器拓扑。

来源:GitHub · 灵魂体仓库 · github.com