发布医疗 LLM 评测差距分解代码仓库
热点事件持续更新
发布医疗 LLM 评测差距分解代码仓库
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
论文作者公开了 healthcare-llm-eval-gap 代码仓库，提供论文《Healthcare LLM Benchmarks Are Only as Good as Their Explicit Assumptions》案例研究的可复现分析代码。该代码基于 RCT Dataset（Bean et al. 2026，患者与 GPT-4o 交互的数据）将 GPT-4o 的基准表现与真实部署表现的差距分解为任务成分和结果成分两部分。 分析涵盖 Bean、Hager、Goh 三项研究，通过 analysis/run_experiments.py 统一运行。其中 Hager 的清单构建在本地进行，其模型结果需以 JSONL 格式显式提供；基准假设表按 1（是）、0.5（部分）、0（否）打分。
AI 根据报道生成 · 3 小时前更新
最新进展11月1日 00:36
医疗 LLM 基准分数为何不等于部署表现：healthcare-llm-eval-gap 案例研究代码解析报道时间线
沿着报道，了解事件的不同侧面。
11月1日
- GitHub · 灵魂体仓库医疗 LLM 基准分数为何不等于部署表现：healthcare-llm-eval-gap 案例研究代码解析
该仓库发布了论文《Healthcare LLM Benchmarks Are Only as Good as Their Explicit Assumptions》的可复现分析代码，基于 RCT Dataset（Bean et al. 2026）将 GPT-4o 的基准表现与真实部署表现的差距分解为任务成分和结果成分两部分。分析涵盖 Bean、Hager（含 MIMIC 相关评测框架）、Goh 三项研究，通过 `analysis/run_experiments.py` 统一运行，benchmark 假设表按 1/0.5/0 打分。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月1日 01:00
- 近 24 小时变化
- –
02.557.510
01:0002:0003:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。