arXiv · cs.CL· Radhika Gaonkar·· 19 天前精选AI 评分54
TRACE 协议诊断智能体评测中 verifier 的脆弱性
TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation
来源与原文
arXiv · cs.CL
作者：Radhika Gaonkar
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.11678v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出 TRACE 协议，通过配对运行、行为对比和重打分，把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250，打分时恢复原名可完全弥合差距；88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内，误导性工具名则使所有 agent reward 下降 0.20-0.44；相同重跑会翻转 15-36% 的任务结果，两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由
论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因，对解读 LLM agent 基准分数的读者有直接参考价值。
来源：arXiv · cs.CL · arxiv.org