跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分58

llm-eval-scoring-taxonomy:讲清大模型评测分数怎么算出来的开源小书

justinatusa/llm-eval-scoring-taxonomy

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/justinatusa/llm-eval-scoring-taxonomy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

justinatusa 在 GitHub 发布开源小书 llm-eval-scoring-taxonomy,讲解模型输出如何经过判对错、合并多次采样、合并多个判官、合成总分变成榜单分数。全书按分数来路把评测分成四类:单独给一个模型打分、对照参考产出与相对比较、真实使用数据、跨 bench 合成指数,并用 data/benchmarks.csv 收录 227 个 bench 的完整标注数据,正文数值例子可用仓库脚本复现,最后解读 Artificial Analysis、LMArena、METR 等主流榜单的头条数字来源。

推荐理由

作者把 227 个 bench 按出分方式分成四类并给出可复现脚本,读者可以借此理解同一评测数字为何差出好几倍。

来源:GitHub · 灵魂体仓库 · github.com