TRACE 协议诊断智能体评测中 verifier 的脆弱性
arXiv 论文提出 TRACE 协议,通过配对运行、行为对比和重打分,把 LLM agent 分数变化区分为能力变化与评测本身的变化。在 25 个合成任务中重命名工具使脚本 agent 分数降 0.250,打分时恢复原名可完全弥合差距;88 个任务的重命名实验中八个 agent-change 对里七个 reward 变化在 ±0.10 内,误导性工具名则使所有 agent reward 下降 0.20-0.44;相同重跑会翻转 15-36% 的任务结果,两个前沿 LLM 评审在 57% 的相同记录上判断不一致。
推荐理由:论文用配对实验把智能体评测分数变化拆解为能力与测量两类原因,对解读 LLM agent 基准分数的读者有直接参考价值。