跳到正文
GitHub · 去对齐工具与仓库·· 19 天前AI 评分25

Intel 开源 RMSE:缓解顺序量化中学习型 PTQ 的优化不均衡问题

IntelChina-AI/RMSE

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/IntelChina-AI/RMSE

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Intel 研究团队提出 RMSE,用于揭示并缓解学习型 PTQ(后训练量化)在顺序量化中的优化不均衡问题:重建损失幅度在不同量化阶段差异巨大,导致 MSE 产生不均衡的梯度更新。RMSE 通过隐式梯度归一化打破这种损失依赖耦合,使各阶段优化更均衡。技术报告已发布在 arXiv,代码和量化模型 checkpoint 即将开源。

来源:GitHub · 去对齐工具与仓库 · github.com