code-model-reliability 开源代码模型能力与可靠性统一度量框架
szymonkobus 发布 code-model-reliability 仓库,用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力(D50)和可靠性(D99)。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试;仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本,代码 MIT、数据 CC BY 4.0。
推荐理由:用同一难度尺度同时刻画模型能力 D50 和可靠性 D99,覆盖 71 个模型配置的可复现评测框架。