跳到正文
我的
热点事件持续更新

TCSExam 基准发布并评测前沿 LLM

1 篇报道1 个报道来源20 小时前更新

先了解这件事

AI 综述

Yifan Luo 发布 TCSExam,一个覆盖理论计算机科学全领域研究的统一框架与基准,用于评测前沿 LLM 在定理证明、求解器工程、构造和攻克开放猜想上的表现。TCSExam-Full 含 100 个专家评审任务,提交由 Lean kernel 或可执行任务检查器验证;TCSExam-Lite 从中选取 20 个任务(每赛道 5 个),在同等单次预算下将任务尝试次数减少 80%。 评测结果显示,GPT-6 Astra 以 71.9 领跑 Full,Opus 5.5 以 72.3 领跑 Lite,两者排名高度一致(Spearman's ρ=0.93)。TCSExam 还提供任务来源、Docker 构建配方和评测工具,供可复现使用。

AI 根据报道生成 · 5 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv · cs.AI
    TCSExam:评测前沿 LLM 在全部 TCS 研究领域的表现

    TCSExam 是一个覆盖理论计算机科学(TCS)全领域研究的统一框架与基准,评测定理证明、求解器工程、构造以及直接攻克开放猜想。TCSExam-Full 含 100 个专家评审任务,提交由 Lean kernel 或可执行任务检查器验证;TCSExam-Lite 从中选取 20 个任务(每赛道 5 个),在同等单次预算下将任务尝试次数减少 80%。八个智能体在 Full、九个在 Lite 上评测,GPT-6 Astra 以 71.9 领跑 Full,Opus 5.5 以 72.3 领跑 Lite,两者排名高度一致(Spearman's ρ=0.93)。

本事件热度走势

可比范围当前
6
可比范围峰值
711月6日 12:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。