跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分58

DawnofGenX 开源 quant-regress:量化后任务精度回退即让 CI 失败

DawnofGenX/quant-regress

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/DawnofGenX/quant-regress

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

DawnofGenX 在 GitHub 开源 quant-regress,可在 CI 中对模型各精度档位跑任务评测,精度下降超过阈值即让构建失败。作者指出困惑度、KL 散度等 token 级代理指标常显示量化模型正常,而任务精度未必;在一个 cross-encoder 验证器上,dynamic INT8 量化后 fp32 基线精度 100.0%(20/20)跌至 0.0%(0/20)。支持 GitHub Action 与命令行用法,退出码约定为 0 正常、1 精度回退、2 配置错误。v1 仅支持 fp32 与 dynamic int8、仅限 CPU,不支持 AWQ/GPTQ/GGUF 等 GPU 量化方案,仓库地址 https://github.com/DawnofGenX/quant-regress。

推荐理由

作者用交叉编码器验证器上 INT8 精度从 100% 跌到 0% 的实测案例,说明困惑度等 token 级代理指标为何测不出量化损失。

来源:GitHub · 去对齐工具与仓库 · github.com