GitHub · 灵魂体仓库·· 18 天前AI 评分44
llm-regression-engine:面向 LLM 系统的自动化回归测试与红队 CI/CD 平台
prasoon-21/llm-regression-engine
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/prasoon-21/llm-regression-engine
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 prasoon-21/llm-regression-engine 是一个面向 LLM 系统的自动化回归测试、红队测试与 CI/CD 门控平台,集成 LangSmith、Promptfoo、FastAPI、LiteLLM 和 GitHub。它通过 HMAC-SHA256 验证 GitHub Webhook,从 LangSmith 采集 trace,生成提示词注入等对抗性测试用例,并执行 Schema 校验与 LLM-as-a-Judge 评估。平台追踪 P50/P95/P99 延迟与 token 消耗检测回归,将结果以 Commit Status 和 Markdown 报告写回 PR,支持 Docker 部署 5 容器拓扑。
来源:GitHub · 灵魂体仓库 · github.com