跳到正文
arXiv · cs.CL· Yue Huang·· 3 天前精选AI 评分64

RSI Arena 论文:十个前沿模型自主后训练 Nemotron 3.5 并以人类反馈推进递归自我改进

RSI Arena: Towards Recursive Self-Improvement with Human Feedback

来源与原文

arXiv · cs.CL

作者:Yue Huang

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.33624v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Yue Huang 等人发布 RSI Arena 论文,让十个前沿模型作为训练智能体,各自从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发,在六天内用 1,000 GPU 小时和 $300 API 额度自主完成数据选择、训练与 checkpoint 选择。最强的 GPT-6 Astra 训练模型在 12 项能力基准上平均弥补了基座到 Instruct 差距的中位数 76%,人类偏好评分经长度与格式调整后接近 NVIDIA Instruct;第二阶段十个模型中八个的风格调整相对评分继续提升,但基准提升与偏好提升无明显关联,且一个模型在 StrongREJECT 上有害合规上升。

推荐理由

十个前沿模型自主后训练同一基座并接受人类盲评,还报告了有害合规上升的副作用,结果细节值得细看。

来源:arXiv · cs.CL · arxiv.org