llm-eval-scoring-taxonomy:讲清大模型评测分数怎么算出来的开源小书
justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy,讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类:单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数,并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据,正文数值例子可用仓库脚本复现,最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。
推荐理由:作者把 227 个 bench 按出分方式分成四类并给出可复现脚本,读者可以借此理解同一评测数字为何差出好几倍。