跳到正文
GitHub · 3D 生成新仓库·· 2 天前精选AI 评分63

code-model-reliability 开源代码模型能力与可靠性统一度量框架

szymonkobus/code-model-reliability

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/szymonkobus/code-model-reliability

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

szymonkobus 发布 code-model-reliability 仓库,用贝叶斯失败率-难度曲线在同一难度尺度上同时度量代码模型的能力(D50)和可靠性(D99)。发布的拟合覆盖 71 个 arm、1,297 个任务、85,604 个 cell 和 850 万次尝试;仓库含 cmr 命令行流水线、任务集、每次尝试的判定记录和完整重拟合脚本,代码 MIT、数据 CC BY 4.0。

推荐理由

用同一难度尺度同时刻画模型能力 D50 和可靠性 D99,覆盖 71 个模型配置的可复现评测框架。

来源:GitHub · 3D 生成新仓库 · github.com