arXiv · cs.CL· Shan Peng·· 4 天前精选AI 评分53
DMAIC-Bench 提出：评测 LLM 智能体在多阶段分析任务中的自我克制能力
DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
来源与原文
arXiv · cs.CL
作者：Shan Peng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32305v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文 DMAIC-Bench（arXiv:2610.32305）提出评测 LLM 智能体自我克制能力的基准，用 97 个种子任务、覆盖四个行业 15 个工业案例，基于 Lean Six Sigma 的显式统计前提构建，配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示，GO 决策路由准确率平均 92%，NO-GO 决策仅 19%；盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动，区间 31% 至 61%。论文含 54 页 14 图，代码与数据已公开。
推荐理由
论文用反事实变体把自我克制从任务完成度里拆出来测，给出 GO/NO-GO 路由准确率的量化差距，可作为评估智能体决策的新方法参考。
来源：arXiv · cs.CL · arxiv.org