跳到正文
我的
arXiv · cs.AI· Yifan Luo·· 20 小时前AI 评分43

TCSExam:评测前沿 LLM 在全部 TCS 研究领域的表现

TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research

来源与原文

arXiv · cs.AI

作者:Yifan Luo

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.07962v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

TCSExam 是一个覆盖理论计算机科学(TCS)全领域研究的统一框架与基准,评测定理证明、求解器工程、构造以及直接攻克开放猜想。TCSExam-Full 含 100 个专家评审任务,提交由 Lean kernel 或可执行任务检查器验证;TCSExam-Lite 从中选取 20 个任务(每赛道 5 个),在同等单次预算下将任务尝试次数减少 80%。八个智能体在 Full、九个在 Lite 上评测,GPT-6 Astra 以 71.9 领跑 Full,Opus 5.5 以 72.3 领跑 Lite,两者排名高度一致(Spearman's ρ=0.93)。

来源:arXiv · cs.AI · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。