arXiv · cs.CL· Austin Tsai·· 1 天前AI 评分47
Direct Nash Optimization（DNO）对齐语言模型通用偏好的实证研究
Aligning Language Models with General Preferences: An Empirical Study of Direct Nash Optimization
来源与原文
arXiv · cs.CL
作者：Austin Tsai
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.05373v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者独立复现 Direct Nash Optimization（DNO-Prct），在 Llama 3.1 8B Instruct 和 Mistral 7B Instruct v0.1 上验证其通过逼近两人偏好博弈 Nash 均衡实现模型对齐的效果。三轮迭代后，两模型在 AlpacaEval 2.0 上的 LC 胜率分别从 31.7% 升至 45.3%、从 6.8% 升至 18.4%，调优后的 8B 模型各项胜率超过 Llama 3.1 70B Instruct；用同族开源模型替代 GPT-4o 做标注仍保留 62%（Llama）和 82%（Mistral）的增益。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。