GitHub · 灵魂体仓库·· 19 天前AI 评分47
SilverquiLLM-bench:用万智牌卡牌实现评测 LLM 编程智能体
snowfoxbuilds/SilverquiLLM-bench
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/snowfoxbuilds/SilverquiLLM-bench
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源基准 SilverquiLLM-bench 通过让 LLM 编程智能体在自定义游戏引擎中以 Python 类实现万智牌(MTG)卡牌来评测其代码能力。任务卡牌来自训练时不存在的新 MTG 系列,降低记忆污染风险;评测维度包括卡牌正确性、参考卡牌回归和引擎回归三项,采用隐藏测试套件,智能体以黑盒 Docker 容器运行且与模型无关。当前工作集 hob-medium 选取 5 张 HOB 卡牌,历史 SOS 基准选取 10 张卡牌,roster 覆盖 GPT-6 Astra、Sol、Luna 及 Claude Opus 5.5、Sonnet 5.5、Fable 5.1、Haiku 4.5。
来源:GitHub · 灵魂体仓库 · github.com