arXiv · cs.AI· Junjie Chen·· 15 天前精选AI 评分52
arXiv 论文实证审计 LLM Agent 基准：Oracle 缺陷使 94.3% 成功率被高估至 65.5%
When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark
来源与原文
arXiv · cs.AI
作者：Junjie Chen
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.16067v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出一套针对 LLM Agent 评测框架可靠性的 Oracle 完整性审计方法，含五条状态完整性不变量和三个已知答案控制，通过注入七类缺陷验证全部可检出且修复后无误报。对某 Agent 基准的审计发现奖励函数会在评分前改变环境状态，4,320 条 episode 的回放修正使 database-pass 标签从 4,194 降至 2,883，测得成功率从 94.3% 降至 65.5%。另发现策略文档、工具描述与工具错误字符串影响测得轨迹可靠性，工具描述的探索性效应最大（-9.2 pp），且第二任务域的语言效应符号反转；审计方法无法验证第二个基准，因其记录的 API 调用日志无法重建参考终态，论文发布了含审计套件与故障注入目录的复现包。
推荐理由
论文给出了一套可检测评测 Oracle 缺陷的审计方法，并实测出奖励函数缺陷把 94.3% 的成功率拉低到 65.5%，方法附带完整复现包。
来源：arXiv · cs.AI · arxiv.org