GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分66
Clastogen:pytest 插件对 LLM 应用系统提示词做突变测试
burakkaygusuz/clastogen
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/burakkaygusuz/clastogen
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
burakkaygusuz 在 GitHub 发布 Clastogen,一个 pytest 插件,通过删除规则、把 never 改为 always、把 must 弱化为 should、数字乘 10 等方式向系统提示词注入小故障,再重跑评测测试,检验测试能否发现这些缺陷,并输出 Mutation Score。插件用 SPRT 序贯检验在结果明确时提前停止,节省 API 调用,配合 10 次 Laplace 基线运行过滤 flaky 测试;demo 显示两个常规通过的测试只捕获 5 个突变体中的 3 个(得分 60%)。仓库见 https://github.com/burakkaygusuz/clastogen ,MIT 许可。
推荐理由
作者给出了用突变测试检验 LLM 评测是否真的能发现提示词缺陷的可复用方法,含 SPRT 省调用的设计与实测示例。
来源:GitHub · 去对齐工具与仓库 · github.com