arXiv · cs.AI· Walter Simoncini·· 12 天前精选AI 评分53
arXiv 论文提出免重训练方法让预训练 Transformer 可按算力预算弹性伸缩
Your Transformer Is Secretly Elastic
来源与原文
arXiv · cs.AI
作者：Walter Simoncini
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.20588v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Walter Simoncini 在 arXiv 发布论文，提出免重训练方法把预训练 Transformer 变成可在连续算力预算间自适应的单一模型，核心是对功能单元排序问题做可微松弛，在统一尺度上联合排序每个 MLP 神经元和注意力头。在 22M 到 8B 参数的 27 个视觉与文本 Transformer 编码器上，方法在最高 60% 稀疏度下平滑退化并优于 one-shot 基线；DINOv3 ViT-H+/16 剪枝到 50% 稀疏度移除 427M 参数，ImageNet-1k linear-probing 精度仅降 0.8%；AugReg ViT-B/16 在 60% 稀疏度下于 A100 GPU 上吞吐提升最高 1.80 倍、单查询延迟降低 1.26 倍。
推荐理由
论文给出免重训练的弹性剪枝方法，在27个模型上验证60%稀疏度下的精度与吞吐数据，可复现。
来源：arXiv · cs.AI · arxiv.org