arXiv · cs.CL· Esther Xin·· 2 天前精选AI 评分53
arXiv 论文实测 25 个开源模型：链式推理依赖随规模上升并趋于饱和，后训练不改变依赖度
Does Chain-of-Thought Reliance Follow a Scaling Law?Larger Models Follow Their Steps More, Independent of Post-Training
来源与原文
arXiv · cs.CL
作者：Esther Xin
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38433v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Esther Xin 发布 arXiv 论文（arXiv:2610.38433），在合成 box-swap 任务上对 Qwen3（0.6B-14B）、Gemma 3（1B-12B）、Llama 3（1B-8B）和 8 个 OLMo 2 检查点共 25 个开源权重模型各测 7200 项，通过篡改模型自身思维链中的一步来测量最终答案对书面步骤的依赖。结果显示依赖随规模上升并饱和，Qwen3 从 0.6B 的 16-18% 升至 14B 的 97-100%，依赖与步骤准确率相关 r = 0.99；base 与后训练 Qwen3 在 4B 以上差异不超过 0.03，即后训练不改变依赖；所有 14B 以下模型在四步以上交换时都无法内部解出任务。
推荐理由
论文用合成任务对 25 个开源模型实测链式推理依赖度，给出规模与后训练各自影响的确切数据，可迁移到 CoT 监控的适用判断。
来源：arXiv · cs.CL · arxiv.org