GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分67
Goldset 0.3.0 发布:在 CI 中对 AI 应用做行为评测的 GitHub 工具
ykstorm/goldset
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ykstorm/goldset
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
ykstorm 发布 Goldset 0.3.0,一个在 CI 中对 AI 应用运行行为评测的 GitHub 工具,提供 goldenDataset、llmJudge、structural 和 grounding 四个 runner,分别捕捉输出偏离标准答案、开放式输出行为回退、输出结构破坏和答案缺乏上下文支持四类失败。它在每个 pull request 上以 GitHub Action 形式运行 *.eval.ts 评测文件,发布 delta-vs-base 评论并在评测失败或回退时使检查失败,只有当分支保护将其列为 required status check 时才会阻止合并。
推荐理由
原文给出了四个 runner 的失败模式、性能数字和 judge 成本实测,读者可以据此评估是否把它接入自己的 CI 流程。
来源:GitHub · 去对齐工具与仓库 · github.com