GitHub · 灵魂体仓库·· 14 天前AI 评分47
SlopBench:衡量大模型代码“膨胀度”的开源基准
DarkHater01/slopbench
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/DarkHater01/slopbench
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 SlopBench 是一个衡量大模型写代码冗余程度的开源基准,用 inflation(生成行数 ÷ 参考解行数)量化代码浪费,并额外发布 minimal 提示词可减少的行数(ponytail Δ)。基准含 5 个 Python 任务,所有运行在 Docker 沙箱中完成,模型须达到 pass@1 ≥ 0.6 才计入行数,参考解公开且可通过 PR 争议,结果每周由 GitHub Actions 快照更新。
来源:GitHub · 灵魂体仓库 · github.com