论文称策略会隐性继承评测harness的偏好

arXiv 论文（2610.37255，作者 Jian Mu 等）提出：训练后的智能体策略会继承其 harness（评测接口）对各动作的偏好，部署回报等于 harness 上限减去策略与 harness 之间的失配。也就是说，模型表现好可能部分来自与特定评测设置的隐性契合，而非纯粹的能力。 论文给出两组实验支持：在 MiniWoB++ 上，仅调换观测字段的顺序，训练模型的成功率就从 85.0% 降到 19.2%；在 Terminal-Bench Lite 上，用更强模型估计的“上限减失配”能复现各模型的准确率排名，而任何单项指标都不能。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。