跳到正文
热点事件持续更新

发布DECE:覆盖十款Eurogame的LLM智能体统一评测竞技场

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Fengrui Zhang 等研究者发布 DECE(Diverse Eurogame Competitive Environments),一个覆盖十款 Eurogame 的 LLM 智能体统一评测竞技场,各游戏共享接口与评测协议。主研究以 12 种模型-执行框架配置(9 个模型、4 种执行框架)进行了 480 场三人对局,主研究与补充研究合计 1,032 场。结果称跨游戏排名大体一致,但也存在游戏特定的优势;同一模型在不同执行框架下表现不同,且性能优势并不总伴随更好的 token 与成本效率。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · cs.AI
    DECE:面向 LLM 智能体的多款 Eurogame 统一竞技场

    研究者推出 DECE(Diverse Eurogame Competitive Environments),一个涵盖十款 Eurogame 的 LLM 智能体统一评测竞技场,共享接口与评测协议。主要研究评测了 12 种 model-harness 配置(9 个模型、4 种执行 harness),共进行 480 场三人对局,主研究与补充研究合计 1,032 场对局。结果显示跨游戏排名大体一致但也存在游戏特定优势,同一模型在不同 harness 下表现不同,且性能优势并不总伴随更好的 token 与成本效率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。