跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分53

SmitHunter 开源 llm-regress:面向 CI 的 LLM 提示词与模型回归测试工具

SmitHunter/llm-regress

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/SmitHunter/llm-regress

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SmitHunter 在 GitHub 发布 llm-regress,一个面向 CI 流水线的 LLM 提示词与模型回归测试工具,用 YAML 定义测试套件,可在本地或 CI 中运行并对比两次运行以检测提示词、模型或配置变更带来的退化。支持 exact、contains、regex、_schema、semantic_similarity、llm_judge 及 latency/cost 预算等断言类型,内置 OpenAI、Anthropic 和 mock 提供商,支持并发执行、响应缓存、GitHub Actions 集成和 HTML 报告。工具尚未上架 PyPI,目前需从 GitHub 仓库安装,暂不支持流式响应和多轮对话。

来源:GitHub · 去对齐工具与仓库 · github.com