arXiv · cs.AI· Hannan Mahadik·· 7 天前AI 评分45
DPO 超参数景观的形态：测什么、如何随规模变化、以及何时不能迁移
The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It
来源与原文
arXiv · cs.AI
作者：Hannan Mahadik
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.27895v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究通过在同一模型族不同规模上进行密集网格实验，系统分析了 DPO 的学习率与正则化参数 β 等超参数随模型规模和更新步数的演化。研究发现最优学习率随模型大小变化、超参数不可跨数据集迁移，且验证损失与下游 benchmark 最优超参数仅弱相关。作者还指出短程候选训练可大幅降低调参成本，并公开了全部训练配置与评测结果。
来源：arXiv · cs.AI · arxiv.org