arXiv · cs.AI· Debopam Sanyal·· 23 小时前AI 评分32
SVD-Attention：高效分析 Transformer 注意力块
SVD-Attention: Efficiently Analyzing Attention Blocks in Transformers
来源与原文
arXiv · cs.AI
作者：Debopam Sanyal
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.34971v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 SVD-Attention，一种事后诊断方法，通过分解每个注意力头的交互矩阵并结合谱幅值与激活方差打分，判断哪些头在真实数据上真正用满秩预算。在 7 个预训练模型和 5 类任务上，该方法发现的冗余层具有任务相关性：情感、图像分类和生成任务冗余在早中层，密集预测和抽取式问答冗余在晚层。按其标记截断层最多损失 1.75 F1，随意截断则最多损失 50 F1；结合权重剪枝可减少 8-11% 推理 FLOPs。
来源：arXiv · cs.AI · arxiv.org