arXiv · cs.AI· Miguel Fernandez-de-Retana·· 4 天前AI 评分41
开源大模型能否考上西班牙 MIR 住院医师考试:不确定性、推理与图像使用研究
Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
来源与原文
arXiv · cs.AI
作者:Miguel Fernandez-de-Retana
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31586v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
一项研究用西班牙 MIR 住院医师考试规则评测了 4 个 8B 至 27B 参数的开源模型,共 1,552 道题。三个较大模型答完全部题目可排进约前 600 至 3,000 名,41 至 43 个专业仍可匹配。但医学微调虽降低过度自信却牺牲准确率,且替换或删除图像不影响成绩,13-38% 的正确答案因临床不合理理由排除干扰项。
来源:arXiv · cs.AI · arxiv.org