GitHub · 灵魂体仓库·· 21 天前AI 评分70
Dercen 开源 ptq-bench:LLM 训练后量化困惑度基准工具
Dercen/LLM-Precision
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Dercen/LLM-Precision
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Dercen 在 GitHub 开源 ptq-bench,一个衡量 LLM 权重量化后困惑度损失的基准工具,对比 RTN、GPTQ、AWQ-lite、HQQ 在不同位宽下的表现。仓库提供 ./ptq 菜单式向导、浏览器界面和 Google Colab 演示,无需 GPU 也能运行最小模型;官网 dercen.github.io/LLM-Precision 随每次 push 自动重建。已完成 436 行的常驻评测矩阵(五模型×五方法×四位宽×三数据集),其中 61 行与已发表数字对照,fp16 偏差在 0.04% 以内,GPTQ 平均偏差 1.2% 以内;流式评测让 13.3 GB 的 opt-6.7b fp16 权重可在 8 GB GPU 上以 1.95 GB 峰值显存完成评测,结果与常驻评测一致。
来源:GitHub · 灵魂体仓库 · github.com