跳到正文
GitHub · 灵魂体仓库·· 19 天前AI 评分47

SilverquiLLM-bench:用万智牌卡牌实现评测 LLM 编程智能体

snowfoxbuilds/SilverquiLLM-bench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/snowfoxbuilds/SilverquiLLM-bench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开源基准 SilverquiLLM-bench 通过让 LLM 编程智能体在自定义游戏引擎中以 Python 类实现万智牌(MTG)卡牌来评测其代码能力。任务卡牌来自训练时不存在的新 MTG 系列,降低记忆污染风险;评测维度包括卡牌正确性、参考卡牌回归和引擎回归三项,采用隐藏测试套件,智能体以黑盒 Docker 容器运行且与模型无关。当前工作集 hob-medium 选取 5 张 HOB 卡牌,历史 SOS 基准选取 10 张卡牌,roster 覆盖 GPT-6 Astra、Sol、Luna 及 Claude Opus 5.5、Sonnet 5.5、Fable 5.1、Haiku 4.5。

来源:GitHub · 灵魂体仓库 · github.com