跳到正文
arXiv · cs.AI· Azim Ospanov·· 20 小时前AI 评分40

LLM 能否可靠评判奥赛数学证明?一项基于 USAMO 2025 的系统性研究

Can LLMs Reliably Grade Olympiad Proofs? A Study of Mathematical Verification with LLMs

来源与原文

arXiv · cs.AI

作者:Azim Ospanov

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.36767v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该研究系统评估了 LLM 对奥赛级自然语言数学证明的验证能力,构建了带专家评分的 USAMO 2025 候选解数据集,并提出 TROJAN 迭代式自评管线以批量生成高保真对抗性证明。评估覆盖 20 个模型、7 项指标、2 种提示风格、3 种推理方法,显示 SOTA 模型仍有较大改进空间。新提出的 MABGrader 框架将评分转化为 Multi-Armed Bandit 臂选择问题,在 Quadratic Weighted Kappa 上超越 SOTA ProofGrader 26.4%,评分误差降低 14%,代码和数据集已开源。

来源:arXiv · cs.AI · arxiv.org