arXiv · cs.AI· Hannes Ill·· 13 小时前AI 评分39
M4Bench:评测临床 EHR 衍生智能体的程序化规格能力
M4Bench: Evaluating Procedural Specification for Clinical EHR Derivation Agents
来源与原文
arXiv · cs.AI
作者:Hannes Ill
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.37459v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
M4Bench 是一个开源基准,包含基于 MIMIC-IV 和 eICU 的 28 项临床衍生任务(15 个任务族),用于测试 AI 编码智能体能否复现临床衍生定义。在 Docker 隔离的 Codex 实验(GPT 5.4 Mini 与 GPT 5.5)中,临床医生审核的技能使 reward 提升 0.136,28 项任务中 26 项改善,其中规格完整性贡献主要增益(0.162,技能仅再增 0.024)。Claude Code 复现(Opus 4.7 与 Sonnet 4.6,560 次运行)方向一致(+0.120,21/28 改善),但整体通过严格检查的运行仍属少数。
来源:arXiv · cs.AI · arxiv.org