arXiv · cs.AI· Wu S. Zihan·· 11 天前AI 评分44
用于内存高效训练的局部代理方法研究
Local proxies for memory-efficient training
来源与原文
arXiv · cs.AI
作者：Wu S. Zihan
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23145v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究提出在 Transformer 每个模块训练局部代理网络，通过知识蒸馏预测全局网络输出，使梯度无需存储全部激活值即可独立回传，理论上对深层线性网络精确成立，非线性残差模型中梯度误差有界。该方法在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的准确率/内存权衡，用于小内存预算下微调大语言模型时，比 zeroth-order 学习算法训练更快、性能更高。
来源：arXiv · cs.AI · arxiv.org