跳到正文
arXiv · cs.CL· Sophie L. Wang·· 22 天前精选AI 评分67

arXiv 论文:base 模型可借起始 token 线索触发推理,Olmo-3-7B MATH-500 从 42% 升至 78%

Base Models Can Reason By Taking a Cue From Training Data

来源与原文

arXiv · cs.CL

作者:Sophie L. Wang

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.06851v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arXiv 论文(arXiv:2610.06851)研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联,发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。

推荐理由

论文用因果数据干预把推理行为追溯到训练数据,并给出固定起始 token 即可逼近 RL 版本性能的具体数字。

来源:arXiv · cs.CL · arxiv.org