arXiv · cs.CL· Zihao Zheng·· 12 天前精选AI 评分54
arXiv 论文提出扰动可控基准审计医疗 LLM 智能体升级可靠性
Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures
来源与原文
arXiv · cs.CL
作者：Zihao Zheng
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.21270v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
华盛顿大学圣路易斯分校等团队发布 arXiv 论文 arXiv:2610.21270，用 400 个合成医疗工作流 episode 审计 LLM 智能体在证据缺失、过期、冲突或延迟时的升级（escalate）决策，按 5:1 漏报与不必要升级成本计分。五个 1.7B–9.7B 开源权重配置干净决策准确率达 0.97，但不确定性触发的模型漏掉 32–97% 的必要升级，9.7B 配置在冲突下从 0.97 降到 0.78；语言化置信度不一致（ECE 0.10–0.54）。工作流感知控制器将漏升级降到 0.12–0.24、特异性 0.83–0.93，但 30 概念词汇压力测试使其规则检测器在未见改写上的召回从 1.00 降到 0.00，结论限于该基准。
推荐理由
论文量化了医疗 LLM 智能体在证据缺失或冲突时漏掉升级请求的比例，并提示路由控制器也要单独做泛化测试。
来源：arXiv · cs.CL · arxiv.org