GitHub · 去对齐工具与仓库·· 20 天前AI 评分72
PrismaQuant 开源:按真实端到端 KL 选择逐层量化格式的混合精度工具
RobTand/prismaquant
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/RobTand/prismaquant
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Robert Tand 开源 PrismaQuant,一个混合精度 LLM 量化工具,用 AURA 分配器(KL-Fisher 探针乘以生产渲染权重误差,解多选背包)为每个 Linear 选格式,发布前用 held-out 真实 KL 验证。输出 compressed-tensors(vLLM 原生)、GGUF(llama.cpp 与 vLLM)和 Tessera 三种容器,均无需 fork 推理引擎。实测:Qwen3.6-27B 5.5 bpp 工具调用 91/100 超 BF16 的 86/100;Ornith-1.0-35B 4.75 bpp 从 70 GB 降到 23 GB;Tencent Hy3 295B-A21B 量化到 2.80 bpp GGUF 后单张 DGX Spark 可跑。
来源:GitHub · 去对齐工具与仓库 · github.com