DMAIC-Bench 提出:评测 LLM 智能体在多阶段分析任务中的自我克制能力
arXiv 论文 DMAIC-Bench(arXiv:2610.32305)提出评测 LLM 智能体自我克制能力的基准,用 97 个种子任务、覆盖四个行业 15 个工业案例,基于 Lean Six Sigma 的显式统计前提构建,配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示,GO 决策路由准确率平均 92%,NO-GO 决策仅 19%;盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动,区间 31% 至 61%。论文含 54 页 14 图,代码与数据已公开。
推荐理由:论文用反事实变体把自我克制从任务完成度里拆出来测,给出 GO/NO-GO 路由准确率的量化差距,可作为评估智能体决策的新方法参考。