GitHub · 去对齐工具与仓库·· 19 天前AI 评分25
Intel 开源 RMSE:缓解顺序量化中学习型 PTQ 的优化不均衡问题
IntelChina-AI/RMSE
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/IntelChina-AI/RMSE
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Intel 研究团队提出 RMSE,用于揭示并缓解学习型 PTQ(后训练量化)在顺序量化中的优化不均衡问题:重建损失幅度在不同量化阶段差异巨大,导致 MSE 产生不均衡的梯度更新。RMSE 通过隐式梯度归一化打破这种损失依赖耦合,使各阶段优化更均衡。技术报告已发布在 arXiv,代码和量化模型 checkpoint 即将开源。
来源:GitHub · 去对齐工具与仓库 · github.com