arXiv · cs.AI· Ferdinand Kapl·· 4 天前AI 评分43
深度增长与循环结构如何塑造语言模型的上下文学习能力
How Depth Growth and Looping Shape In-Context Learning in Language Models
来源与原文
arXiv · cs.AI
作者：Ferdinand Kapl
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.31421v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项研究分析了深度增长与循环结构如何促进语言模型的上下文学习，涵盖参数量最高 3B 的预训练模型与受控任务。实验显示此类模型比全深度稠密参考模型更依赖上下文信息，能更早习得 ICL 并在权重学习中更牢固地保留该能力。注意力追踪与消融实验表明，深度增长使早期 induction heads 跨层传播，模型更依赖 induction 排名靠前的注意力头支持 few-shot 表现。
来源：arXiv · cs.AI · arxiv.org