arXiv · cs.AI· Moritz Thoma·· 3 天前AI 评分45
基于 SVD 的大语言模型压缩新进展：逐层误差模型搜索方法 LEMS
Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
来源与原文
arXiv · cs.AI
作者：Moritz Thoma
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32878v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 LEMS 与 KFAC-SVD，改进基于 SVD 的大语言模型压缩：LEMS 通过逐层误差代理结合 ILP 实现更有效的全局秩分配，KFAC-SVD 利用逐 token 统计缓解此前 Fisher 方法的秩塌缩。在 Mistral、Qwen3 和 Llama 3 模型族上，LEMS 带来最高 4.8 p.p. 的 zero-shot 准确率提升（可泛化到 70B 参数规模），KFAC-SVD 平均降低困惑度 15%。论文已被 ICML 2026 接收。
来源：arXiv · cs.AI · arxiv.org