跳到正文
热点事件持续更新

论文提出前缀可执行性评测协议,评估工具调用智能体可靠性

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

一篇已被 NeurIPS 2026 接收的论文提出 prefix executability,一种针对工具调用智能体的轨迹级评测协议:检验智能体预测的每个工具调用前缀在工具 schema、状态前置条件和数据依赖下是否可执行,并以 PEC、FED、TER、AUC-PEC 和 Recovery Rate 等指标汇总可靠性。核心发现是仅按最终成功率排名会与按前缀级可靠性排名出现分岔,即两个都可能通过的智能体在实际执行稳定性上不同。 作者在 BFCL-v3 多轮和 ToolSandbox 的分层抽样,以及 τ³-bench 的 Airline/Retail 完整 base split 上做了实验,还发现显式的预执行计划检查可提升可执行前缀的存活率。论文共 21 页,arXiv 编号 2610.40444。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv · cs.CL精选
    Prefix Executability 评测协议论文:在最终成功之外评估工具调用智能体

    论文提出 prefix executability,一种轨迹级评测协议,检验智能体预测的工具调用序列每个前缀在工具 schema、状态前置条件和数据依赖下是否可执行,并用 PEC、FED、TER、AUC-PEC 和 Recovery Rate 汇总可靠性。作者在 BFCL-v3 多轮、ToolSandbox 抽样及 τ³-bench 的 Airline/Retail 完整 base split 上实验,发现仅看最终结果的排名与前缀级排名会分岔,显式预执行计划检查可提升可执行前缀存活率。论文共 21 页,已被 NeurIPS 2026 接收,链接 https://arxiv.org/abs/2610.40444。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。