论文提出 MABGrader 评测 LLM 数学证明验证能力
热点事件持续更新
论文提出 MABGrader 评测 LLM 数学证明验证能力
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
Azim Ospanov 在 arXiv（arXiv:2610.36767）发布论文，系统研究 LLM 对奥赛级数学证明的验证能力，并提出 MABGrader 评分框架。研究构建了带专家评分的 USAMO 2025 候选解数据集，并提出 TROJAN 迭代式自评管线批量生成对抗性证明。论文称 MABGrader 将评分转化为 Multi-Armed Bandit 臂选择问题，在 Quadratic Weighted Kappa 上超越 SOTA ProofGrader 26.4%，评分误差降低 14%。评估覆盖 20 个模型、7 项指标、2 种提示风格、3 种推理方法，显示 SOTA 模型在验证奥赛级证明上仍有较大改进空间。代码和数据集已开源。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 15:28
LLM 能否可靠评判奥赛数学证明？一项基于 USAMO 2025 的系统性研究报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv · cs.AILLM 能否可靠评判奥赛数学证明？一项基于 USAMO 2025 的系统性研究
该研究系统评估了 LLM 对奥赛级自然语言数学证明的验证能力，构建了带专家评分的 USAMO 2025 候选解数据集，并提出 TROJAN 迭代式自评管线以批量生成高保真对抗性证明。评估覆盖 20 个模型、7 项指标、2 种提示风格、3 种推理方法，显示 SOTA 模型仍有较大改进空间。新提出的 MABGrader 框架将评分转化为 Multi-Armed Bandit 臂选择问题，在 Quadratic Weighted Kappa 上超越 SOTA ProofGrader 26.4%，评分误差降低 14%，代码和数据集已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。