研究者发布BedBench基准，揭示视觉语言模型3D逐色计数短板
热点事件持续更新
研究者发布BedBench基准，揭示视觉语言模型3D逐色计数短板
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
Khai Le-Duc 等研究者发布 BedBench 基准，用 13 个程序生成任务评测视觉语言模型的 3D 推理，代码和数据集已公开。在 12 个开源权重模型和 4 个前沿模型上，逐色计数暴露明显弱点：人类准确率 93.3%，最好模型仅 7.2%。 论文还报告：微调可将某模型从 3.0% 提升到 68.6%，但其答案仍与自身逐色计数不一致；对 Qwen3.5-27B 的探测显示，语言模型输入端可恢复精确计数（65.0% vs 模型 3.0%），且部分正确答案无需视觉证据。
AI 根据报道生成 · 50 分钟前更新
最新进展10月29日 17:00
视觉语言模型为何在 3D 推理上失败？BedBench 揭示逐色计数短板报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.AI视觉语言模型为何在 3D 推理上失败？BedBench 揭示逐色计数短板
研究者提出 BedBench 基准，用 13 个程序生成任务评测视觉语言模型的 3D 推理。在 12 个开源权重模型和 4 个前沿模型上，逐色计数暴露明显弱点：人类准确率 93.3%，最好模型仅 7.2%；微调可将某模型从 3.0% 提升到 68.6%，但其答案仍与自身逐色计数不一致。对 Qwen3.5-27B 的探测显示语言模型输入端可恢复精确计数（65.0% vs 模型 3.0%），且部分正确答案无需视觉证据。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。