arXiv · cs.CL· Xiaohan Qin·· 20 天前精选AI 评分59
DepthGraft:用分层跨层 KV 重建做结构正则化的新架构
DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
来源与原文
arXiv · cs.CL
作者:Xiaohan Qin
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.03142v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 DepthGraft,一种分层 KV 共享架构,从对齐的浅中层源对重建深层 KV,将 KV 共享转化为对 KV 表示几何的隐式结构正则化,并使 KV cache 减少约三分之一。在 0.5B 到 16B 的稠密与 MoE 模型实验中,16B MoE 模型在 MMLU-Pro 上取得 7.0% 绝对提升,CMMLU 和 C3 分别提升 6.6% 和 6.4%。
推荐理由
论文把跨层 KV 共享解释为一种隐式结构正则化,并给出 0.5B 到 16B 模型的实测提升,对预训练架构设计有参考价值。
来源:arXiv · cs.CL · arxiv.org