跳到正文
arXiv · cs.AI· Daniel Rupawalla·· 21 小时前AI 评分41

Bank-World:评估 AI 智能体银行工作流的基准

Bank-World: A Benchmark for Evaluating Agents on Banking Workflows

来源与原文

arXiv · cs.AI

作者:Daniel Rupawalla

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.39733v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Bank-World 是一个包含 50 项银行任务、覆盖两家模拟机构的智能体评测基准,通过单轮任务和多轮与模拟员工交互来测试记录核对、权限获取、交易执行等能力。在四个模型共 1,600 次尝试中,正确决策常未能变成完成的工作,例如重复收费、金额分配错误、审批未完成就执行付款。Sol 单轮完成率领先,Opus 多轮完成率最高,任务环境、可执行评分器和完整轨迹将私密保留以防污染。

来源:arXiv · cs.AI · arxiv.org