跳到正文
arXiv · cs.AI· Alexander Kovalenko·· 20 天前精选AI 评分60

CAREFUL-Bench 提出效果感知的无裁判多轮函数调用评测

CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling

来源与原文

arXiv · cs.AI

作者:Alexander Kovalenko

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.02978v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 CAREFUL-Bench,在不替换 BFCL 的前提下为其补充效果感知评测,通过在 BFCL 模拟器中执行全部 128 个函数推断效果声明,并用无裁判重放评分器复现官方全部 800 条参考轨迹的结果,同时报告未请求的破坏性调用、重复写入、冗余读取及其 token 成本。在 11 个开源模型上,效果感知评分保持官方排名但揭示执行质量差异,领先模型因未请求的破坏性调用损失 14.0 分,冗余步骤最多消耗 28% 的输入 token;给函数文档加效果提示对 8 个模型无影响,允许模拟用户回应最多为寻求确认的模型挽回 4 分,但最佳模型也仅在 576 场需确认的破坏性对话中完成 6 场。

推荐理由

论文在 BFCL 之上做了无裁判的效果感知评测,读者可以借此看到多轮函数调用质量与官方排名之外的差异。

来源:arXiv · cs.AI · arxiv.org