arXiv · cs.CL· Davide Venuto·· 1 天前AI 评分39
GPT-2 类模型的隐式推理研究：弥合 Transformer 的组合性鸿沟
Implicit Reasoning in Transformers: Bridging the Compositionality Gap in GPT-2-like Models
来源与原文
arXiv · cs.CL
作者：Davide Venuto
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39016v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究用从零训练的 GPT-2 类 Transformer 模型考察两跳推理中的组合性鸿沟。通过在训练数据中让 ID 与 OOD 原子事实按已学组合回路第二跳检索步骤的位置对齐呈现，不改架构、不加 OOD 组合监督，模型即可将 ID 组合行为迁移到保留的 OOD 原子事实上。结果表明该鸿沟并非架构的根本限制，可经机制启发的训练分布设计克服。
来源：arXiv · cs.CL · arxiv.org