arXiv · cs.CL· Feifei Qian·· 18 天前AI 评分31
从结构到效度：LLM 量规的机制引导生成与优化
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
来源与原文
arXiv · cs.CL
作者：Feifei Qian
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.13375v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项系统性机制分析研究了 LLM 量规设计中的准则组织、准则操作化与分数聚合，发现结构性组织有助于构建更全面的准则，仅靠语义细化不足以保证准则级判断有效，而复杂的分数聚合带来的额外收益有限。基于这些发现，研究者提出 Adaptive Rubric Tree Search with Hybrid refinement（ARTS-Hybrid），结合自适应树构建与语义优先、响应校准的细化方法。跨基准实验显示 ARTS-Hybrid 同时提升了端到端评估性能与量规本身的质量，其生成的量规还能为模型优化提供有效信号。
来源：arXiv · cs.CL · arxiv.org