Reddit · r/LocalLLaMA· /u/Status-Adeptness8123·· 21 天前精选AI 评分58
本科生发布自研 4-bit Qwen2.5 量化模型，fp16 精度保持优于官方 AWQ
4-bit Qwen2.5 that stays closer to fp16 than the official AWQ, on the same vLLM kernel (1.5B and 7B, code + models)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Status-Adeptness8123
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wyc2b0/4bit_qwen25_that_stays_closer_to_fp16_than_the/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器，在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重，由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。
推荐理由
作者给出自建 GPTQ 量化器的具体改进点，并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据，还坦陈了局限。
来源：Reddit · r/LocalLLaMA · reddit.com