跳到正文
更多
GitHub · 灵魂体仓库·· 4 小时前AI 评分29

医疗 LLM 基准分数为何不等于部署表现:healthcare-llm-eval-gap 案例研究代码解析

naveenr414/healthcare-llm-eval-gap

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/naveenr414/healthcare-llm-eval-gap

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该仓库发布了论文《Healthcare LLM Benchmarks Are Only as Good as Their Explicit Assumptions》的可复现分析代码,基于 RCT Dataset(Bean et al. 2026)将 GPT-4o 的基准表现与真实部署表现的差距分解为任务成分和结果成分两部分。分析涵盖 Bean、Hager(含 MIMIC 相关评测框架)、Goh 三项研究,通过 `analysis/run_experiments.py` 统一运行,benchmark 假设表按 1/0.5/0 打分。

来源:GitHub · 灵魂体仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。