Akshay Vyas 提出用近似任务不变性检验视觉与语言评测指标可靠性

Akshay Vyas 在 arXiv 发表论文，提出"近似任务特定不变量"概念，用它作为诊断工具检验视觉与语言任务中多输出结构化预测现有评测指标的可靠性。 实验中，作者通过增强损失在模型输出中引入任务不变量后，观察到流行分布类指标显著提升，而传统指标仅变化甚微。该框架揭示了标准指标未能检测出有意义差异的情形，并界定了分布类指标有效或仍然不足的条件。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。