跳到正文
arXiv · cs.AI· Wenshuo Zhang·· 7 天前精选AI 评分56

RITE 基准评测电商智能体对静默工具错误的端到端韧性

RITE: Evaluating End-to-End Resilience to Silent Tool Errors in E-Commerce Agentic Systems

来源与原文

arXiv · cs.AI

作者:Wenshuo Zhang

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.27777v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Wenshuo Zhang 等发布 RITE 基准,评估工具调用型 LLM 智能体在静默工具错误下的端到端韧性,基准基于人工编写的工业工作流与生产日志输入构建。包含 9 个电商工作流、167 个匹配单元,共 501 条静默错误、正确值与显式失败实例。实测 10 个近期 LLM 后发现,静默错误大致使任务成功率减半,且比显式失败更难应对;错误识别、使用验证路径、整合证据构成连续瓶颈。作者还提出轻量 State Checker 干预来测试能否提升韧性。

推荐理由

论文用真实工业工作流构建静默工具错误的端到端评测,给出了 10 个模型的量化对比和可复用的干预思路。

来源:arXiv · cs.AI · arxiv.org