arXiv · cs.AI· Khai Le-Duc·· 22 小时前AI 评分36
视觉语言模型为何在 3D 推理上失败?BedBench 揭示逐色计数短板
Where Do Vision Language Models Fail at 3D Reasoning?
来源与原文
arXiv · cs.AI
作者:Khai Le-Duc
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39639v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 BedBench 基准,用 13 个程序生成任务评测视觉语言模型的 3D 推理。在 12 个开源权重模型和 4 个前沿模型上,逐色计数暴露明显弱点:人类准确率 93.3%,最好模型仅 7.2%;微调可将某模型从 3.0% 提升到 68.6%,但其答案仍与自身逐色计数不一致。对 Qwen3.5-27B 的探测显示语言模型输入端可恢复精确计数(65.0% vs 模型 3.0%),且部分正确答案无需视觉证据。
来源:arXiv · cs.AI · arxiv.org