arXiv · cs.CL· Xiaocong Yang·· 13 天前AI 评分51
DAGFormer 提出用联合训练的拓扑预测器规划 Transformer 跨层连接
DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
来源与原文
arXiv · cs.CL
作者:Xiaocong Yang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.19625v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 DAGFormer,一种由联合训练的拓扑预测器规划跨层连接的 Transformer 语言模型,在标准残差连接之外增加从浅层到深层的直接连接,并按输入 token 控制每条连接强度,与逐层单独设置连接的现有跨层路由架构不同,它一次性规划整个模型的路由。
来源:arXiv · cs.CL · arxiv.org