arXiv · cs.AI· Hossein A. Rahmani·· 8 天前AI 评分45
StepBench：诊断 AI 智能体的真实世界程序性理解能力
StepBench: Diagnosing Real-World Procedural Understanding in AI Agents
来源与原文
arXiv · cs.AI
作者：Hossein A. Rahmani
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.26679v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
StepBench 基准从 wikiHow 抓取 6,885 条经核验的程序性步骤，覆盖 81 个开放域类别，并派生出 5 项诊断任务。对 12 个模型的 14 种配置测试显示，步骤排序最难：最强模型正确排序率仅 63.0%，步骤数达 9 步及以上时降至 33.1%。研究还发现错误步骤检测可预测生成计划的有效性，可作为更低成本的评估替代方案。
来源：arXiv · cs.AI · arxiv.org