LLM与开发者测试突变实验复现包在GitHub发布

GitHub 用户 nernass 发布了 llm-vs-developer-integrationTests 复现包，公开一项变异测试实验的数据与脚本：用 PIT 1.30.1 在 18 个开源 Java 项目（共 3,216 个 mutant）上评测 Claude、GPT、Gemini、DeepSeek 生成的 72 个测试套件，并与各项目的开发者测试对比。 主要结果显示 Claude 平均得分 0.528 最高，开发者测试仅 0.378；另有 360 个输出用于一致性实验。数据归档于 Zenodo（DOI: 10.5281/zenodo.23735549）。运行需 Python 3.9+ 及 pandas、numpy；scripts/ 目录代码采用 MIT 许可，data/ 与 results/ 数据采用 CC BY 4.0。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。