跳到正文
arXiv · cs.CL· Xiaocong Yang·· 13 天前AI 评分51

DAGFormer 提出用联合训练的拓扑预测器规划 Transformer 跨层连接

DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections

来源与原文

arXiv · cs.CL

作者:Xiaocong Yang

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.19625v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 DAGFormer,一种由联合训练的拓扑预测器规划跨层连接的 Transformer 语言模型,在标准残差连接之外增加从浅层到深层的直接连接,并按输入 token 控制每条连接强度,与逐层单独设置连接的现有跨层路由架构不同,它一次性规划整个模型的路由。

来源:arXiv · cs.CL · arxiv.org