TCSExam 基准发布并评测前沿 LLM
热点事件持续更新
TCSExam 基准发布并评测前沿 LLM
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
Yifan Luo 发布 TCSExam,一个覆盖理论计算机科学全领域研究的统一框架与基准,用于评测前沿 LLM 在定理证明、求解器工程、构造和攻克开放猜想上的表现。TCSExam-Full 含 100 个专家评审任务,提交由 Lean kernel 或可执行任务检查器验证;TCSExam-Lite 从中选取 20 个任务(每赛道 5 个),在同等单次预算下将任务尝试次数减少 80%。 评测结果显示,GPT-6 Astra 以 71.9 领跑 Full,Opus 5.5 以 72.3 领跑 Lite,两者排名高度一致(Spearman's ρ=0.93)。TCSExam 还提供任务来源、Docker 构建配方和评测工具,供可复现使用。
AI 根据报道生成 · 5 小时前更新
最新进展11月5日 20:58
TCSExam:评测前沿 LLM 在全部 TCS 研究领域的表现报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv · cs.AITCSExam:评测前沿 LLM 在全部 TCS 研究领域的表现
TCSExam 是一个覆盖理论计算机科学(TCS)全领域研究的统一框架与基准,评测定理证明、求解器工程、构造以及直接攻克开放猜想。TCSExam-Full 含 100 个专家评审任务,提交由 Lean kernel 或可执行任务检查器验证;TCSExam-Lite 从中选取 20 个任务(每赛道 5 个),在同等单次预算下将任务尝试次数减少 80%。八个智能体在 Full、九个在 Lite 上评测,GPT-6 Astra 以 71.9 领跑 Full,Opus 5.5 以 72.3 领跑 Lite,两者排名高度一致(Spearman's ρ=0.93)。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 711月6日 12:00
- 近 24 小时变化
- –
02468
12:0013:0014:0015:0016:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。