arXiv · cs.CL· Shuai Wang·· 10 天前AI 评分28
相反前提翻译出相同结果:面向多语言常识题的源条件诊断方法
When Opposite Premises Translate Identically: A Source-Conditioned Diagnostic for Multilingual Commonsense Items
来源与原文
arXiv · cs.CL
作者:Shuai Wang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.24428v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文提出一种源对比诊断方法,用于检验多语言推理评测中翻译前提是否忠实:反转英文前提极性后分别翻译,统计目标语言输出是否完全相同。在 71 组配对题目、五种目标语言、三个翻译 checkpoint 的测试中,Swahili 在每个 checkpoint 的 710 对样本中分别出现 63、113、67 次精确碰撞;在以人类参照校准的阈值下,round-trip NLI 仅通过 NLLB-3.3B 113 次碰撞中的 3 次,LaBSE 则通过 78 次。每次碰撞都证明至少存在一处不忠实翻译,但无法定位具体在哪一侧。
来源:arXiv · cs.CL · arxiv.org