跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分21

Kleberfs2005/Evaluation-LLMs:基于 SWE-bench 与 SonarQube 的 LLM 代码生成多维评估流水线

Kleberfs2005/Evaluation-LLMs

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Kleberfs2005/Evaluation-LLMs

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该仓库提供一套四阶段自动化流水线,评估 LLM 生成代码补丁的质量。流水线从 SWE-bench 提取预测并重建仓库状态,用 SonarQube 对 500 个项目做静态分析,再调用 gemini-2.5-flash 以 LLM-as-a-Judge 方式做语义评估,最终输出 1-3 级的序数指标(根因解决深度、架构完整性、防御性覆盖),用于统计相关性分析。

来源:GitHub · 灵魂体仓库 · github.com