arXiv · cs.AI· Boyang Yang·· 4 天前精选AI 评分60
RECEIPT 论文提出测量并修复 LLM Agent 在 Web 服务运维中的返回假设
RECEIPT: Measuring and Repairing the Return Assumption of LLM Agents in Web Service Operations
来源与原文
arXiv · cs.AI
作者:Boyang Yang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.01930v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 RECEIPT 首次测量并修复 LLM Agent 的返回假设,即工具调用会在限时内返回且动作已完成的假设。作者收集 91,469 次生产工具调用与 89,047 条公开 Agent 轨迹,测试 8 个常用 harness 并构建 Litmus(158 条检查的命令行调用)与 Tripwire(25 组任务对);结果显示封闭输入时 11.5% 的调用返回 status 0 却未执行动作,7/8 的 harness 在无终端时封闭输入,未回答的问题会使任务 token 用量增至 2.9 倍。RECEIPT 保持输入开放并通过 model-checked 协议返回进程状态,在 5 个 LLM 上将虚假成功声明减少 73.5%,并在第二个 harness 上完成全部 25 个受守卫任务。
推荐理由
论文用生产调用数据和基准量化了 LLM Agent 命令返回假设的失效面,并给出可复用的修复协议,对 Agent 工程有参考价值。
来源:arXiv · cs.AI · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。