PRISM-BENCH发布:诊断多模态推理的接地与忠实度
热点事件观察中
PRISM-BENCH发布:诊断多模态推理的接地与忠实度
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Vansh Bhatia等人在arXiv发布PRISM-BENCH,一个包含1,000道专家标注题目的多模态推理诊断基准,每题附有人工撰写并经二次校验的理想推理轨迹,覆盖五个被低估的推理类别,用于超越最终答案准确率、评估视觉语言模型的接地性与推理忠实度。 论文对GPT-5与Claude Opus 4.6等25个开源与闭源系统进行评测:最高准确率仅66.0%,在有人类基线的四类上落后人类18.4分;感知探针将约85%的前沿模型失败归因于误感知,轨迹对齐在25个系统上预测正确性的macro AUROC为0.66,配套的CORE效率指标使24.2%的模型对排序发生变化。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 11:02
PRISM-BENCH:超越最终答案准确率,诊断多模态推理的落地性与忠实度报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv · cs.CLPRISM-BENCH:超越最终答案准确率,诊断多模态推理的落地性与忠实度
PRISM-BENCH 是一个包含 1,000 道专家标注题目的多模态推理基准,覆盖五个被低估的推理类别,每题附有人工撰写并经二次校验的理想推理轨迹。感知探针将约 85% 的前沿模型失败归因于误感知,轨迹对齐在 25 个系统上预测正确性的 macro AUROC 为 0.66;配套的 CORE 效率指标使 24.2% 的模型对排序发生变化。涵盖 GPT-5 与 Claude Opus 4.6 等 25 个开源与闭源系统,最高准确率仅 66.0%,在有人类基线的四类上落后人类 18.4 分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。