研究检验翻译基准的代理效度
热点事件观察中
研究检验翻译基准的代理效度
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Klaudia-Doris Thellmann 等在 arXiv 论文（arXiv:2610.38788，EMNLP 2026）中检验了 DeepL 翻译版 MMLU 作为本地语言基准替代品的代理效度：将翻译版 MMLU 与五种北欧和波罗的海语言的六个原生基准在七组配对中对比，每组评估 29 个模型。结论是代理效度因配对而异：七个配对中四个效应稳健、两个边缘、一个不显著。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 03:56
DeepL 翻译版 MMLU 与原生基准：翻译评测测的是语言、知识还是本地性？报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- arXiv · cs.CLDeepL 翻译版 MMLU 与原生基准：翻译评测测的是语言、知识还是本地性？
一项研究将 DeepL 翻译的 MMLU 与五种北欧和波罗的海语言的六个原生基准在七组配对中对比，评估了 29 个模型，检验翻译基准的代理有效性。代理有效性在不同配对间差异明显：七个配对中四个效应稳健、两个边缘、一个不显著。当源内容与原生评测目标重叠（如 Skolprov，ΔR²=.128）时翻译基准代理更好，而瑞典本地事实知识（SwedishFacts，p=.242）无法被可靠捕捉。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。