arXiv · cs.CL· Sophie L. Wang·· 22 天前精选AI 评分67
arXiv 论文:base 模型可借起始 token 线索触发推理,Olmo-3-7B MATH-500 从 42% 升至 78%
Base Models Can Reason By Taking a Cue From Training Data
来源与原文
arXiv · cs.CL
作者:Sophie L. Wang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.06851v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
arXiv 论文(arXiv:2610.06851)研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联,发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。
推荐理由
论文用因果数据干预把推理行为追溯到训练数据,并给出固定起始 token 即可逼近 RL 版本性能的具体数字。
来源:arXiv · cs.CL · arxiv.org