arXiv · cs.CL· Dmitry Popov·· 3 天前AI 评分25
超越提示词：基于 LLM 的机器翻译评估器系统性研究
Beyond Prompts: A Systematic Study of LLM-Based Machine Translation Evaluators
来源与原文
arXiv · cs.CL
作者：Dmitry Popov
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.33741v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者系统分析指令设计、few-shot 示例、backbone 模型与多步工作流对 LLM 机器翻译评估的影响，基于 WMT24 和 WMT25 英俄翻译的新 RATE 专家标注，并在 MQM 与 ESA 标注基准上验证迁移。研究发现指令结构决定评估器行为、高质量示例比数量更重要、不同 frontier backbone 呈现召回/精确/排序导向差异，融合多 backbone 输出优于单评估器多次调用。由此提出的 ORBIT 评估器系列在错误跨度检测与 Accuracy 和 Fluency 排序上达到专家级水平，成本约为人工标注的 1/20。
来源：arXiv · cs.CL · arxiv.org