跳到正文
arXiv · cs.CL· Xiaohan Qin·· 20 天前精选AI 评分59

DepthGraft:用分层跨层 KV 重建做结构正则化的新架构

DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction

来源与原文

arXiv · cs.CL

作者:Xiaohan Qin

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.03142v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

论文提出 DepthGraft,一种分层 KV 共享架构,从对齐的浅中层源对重建深层 KV,将 KV 共享转化为对 KV 表示几何的隐式结构正则化,并使 KV cache 减少约三分之一。在 0.5B 到 16B 的稠密与 MoE 模型实验中,16B MoE 模型在 MMLU-Pro 上取得 7.0% 绝对提升,CMMLU 和 C3 分别提升 6.6% 和 6.4%。

推荐理由

论文把跨层 KV 共享解释为一种隐式结构正则化,并给出 0.5B 到 16B 模型的实测提升,对预训练架构设计有参考价值。

来源:arXiv · cs.CL · arxiv.org