FDE-Gym 基准发布：评测 AI 智能体的真实客户交付能力

arXiv 论文提出 FDE-Gym 基准，包含来自 20 个真实客户场景、18 个行业的 95 个端到端交付任务，考察智能体澄清模糊需求、发现未言明约束并在生产级系统上交付方案的能力。评分以客户自身成功指标的改进归一化（0 到 1），并对与利益相关者的交互（消息、试运行、等待时间）施加惩罚；同时评测了 7 家提供商的 13 个模型配置，最佳配置平均分 0.56，仅完成 14/95 个任务（得分至少 0.8 且无事故）。主要瓶颈是发现未言明约束，但即便在 23 个拿到全部关键事实的任务上，最佳配置也只有 10 个达到 0.8 以上的业务提升，显示解决明确任务与真实客户交付之间存在显著差距。配套有在线练习平台、代码和数据。