跳到正文
GitHub · 去对齐工具与仓库·· 9 天前精选AI 评分62

RotomArena 发布:用宝可梦对战评测大语言模型的竞技基准

vibrunazo/rotomarena

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vibrunazo/rotomarena

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

vibrunazo 在 GitHub 发布 RotomArena,一个让大语言模型自组宝可梦队伍并在 Pokémon Showdown 上逐回合对战的竞技基准,网站 rotomarena.org 公开评分、每局回放和各模型推理记录。主基准 Rotom Champ Bench 采用 c5 规则集(50 级、6 选 3、每回合 8192 token 预算、隐藏思考上限 4096 token),评分用 Bradley-Terry 拟合 Elo 并给出 bootstrap 95% 置信区间,参与者包括经 OpenRouter 接入的模型、本地 llama.cpp 模型、决策模型、去掉了语言模型的 PokéChamp 规则实现和随机 AI;代码采用 MIT-0,数据采用 CC0 1.0。

推荐理由

原文写明了评分方法、隐藏思考 token 上限和幻觉判定规则,读者可以据此判断这个基准的公平性设计。

来源:GitHub · 去对齐工具与仓库 · github.com