跳到正文
GitHub · 灵魂体仓库·· 14 天前AI 评分47

SlopBench:衡量大模型代码“膨胀度”的开源基准

DarkHater01/slopbench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/DarkHater01/slopbench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 SlopBench 是一个衡量大模型写代码冗余程度的开源基准,用 inflation(生成行数 ÷ 参考解行数)量化代码浪费,并额外发布 minimal 提示词可减少的行数(ponytail Δ)。基准含 5 个 Python 任务,所有运行在 Docker 沙箱中完成,模型须达到 pass@1 ≥ 0.6 才计入行数,参考解公开且可通过 PR 争议,结果每周由 GitHub Actions 快照更新。

来源:GitHub · 灵魂体仓库 · github.com