VLM-ImFreeRisk：不看图像预测医学 VQA 中 VLM 的错误答案

一项提交至 ICASSP 2027 的研究开源了 VLM-ImFreeRisk 仓库，展示在冻结医学 VLM 回答完整的图像-问题对后，仅凭问题和答案的 BiomedCLIP 嵌入做逻辑回归即可预测答案对错，在 VQA-RAD 上达 AUROC 0.77–0.79，SLAKE 上达 0.88–0.94，测试对象包括 MedGemma-4B-IT、Gemma-3-4B-IT、Qwen2.5-VL-7B/3B 和 Qwen2-VL-2B。约四分之一的测试题被五个 VLM 共同答错，且基于一个模型的错误训练的预测器可迁移检测其他模型（AUROC 0.71–0.83）。保留风险最低的 50% 答案可将精确准确率从 59/55/60/53% 提升至 81/76/91/84%。