GitHub · 灵魂体仓库·· 20 天前AI 评分21
Kleberfs2005/Evaluation-LLMs:基于 SWE-bench 与 SonarQube 的 LLM 代码生成多维评估流水线
Kleberfs2005/Evaluation-LLMs
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Kleberfs2005/Evaluation-LLMs
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该仓库提供一套四阶段自动化流水线,评估 LLM 生成代码补丁的质量。流水线从 SWE-bench 提取预测并重建仓库状态,用 SonarQube 对 500 个项目做静态分析,再调用 gemini-2.5-flash 以 LLM-as-a-Judge 方式做语义评估,最终输出 1-3 级的序数指标(根因解决深度、架构完整性、防御性覆盖),用于统计相关性分析。
来源:GitHub · 灵魂体仓库 · github.com