arXiv · cs.CL· Akshay Vyas·· 1 天前AI 评分21
一种评估多输出结构化预测评价指标的新方法
A Novel Approach to Evaluating Evaluation Metrics for Multi-Output Structured Prediction
来源与原文
arXiv · cs.CL
作者：Akshay Vyas
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39162v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
该研究提出“近似任务特定不变量”概念，用于系统测试视觉与语言任务中现有评价指标的可靠性。实验显示，通过增强损失函数在模型输出中引入任务不变量后，流行分布类指标显著提升，而传统指标变化甚微。该框架揭示了标准指标未能检测出有意义差异的情形，并界定了分布类指标有效或仍然不足的条件。
来源：arXiv · cs.CL · arxiv.org