GitHub · 灵魂体仓库·· 3 天前精选AI 评分66
Genrius AI 发布 Pingala-8 2-bit 量化格式,Qwen3-4B 体积缩小 6.5 倍
Genrius-AI/pingala8-llm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Genrius-AI/pingala8-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Genrius AI 的 Harshit Goyal 发布 Pingala-8,一种基于 8-state coset trellis 编码的 2-bit 量化格式,通过 CUDA 补丁在 llama.cpp 中运行,无需重训即可把 Qwen3-4B 从 8.05 GB 压到 1.24 GB,Llama-3.1-8B 从 16.08 GB 压到 2.39 GB。同字节数下 Qwen3-4B WikiText-2 困惑度 16.64,优于 IQ2_XXS 的 28.61 和 IQ2_KT 的 18.15;batch 1 生成比 Q4_K_M 快 39%。
推荐理由
作者给出与 IQ2_XXS 等字节的对比数字和明确的局限清单,读者可据此自行权衡这种免重训 2-bit 压缩的收益与代价。
来源:GitHub · 灵魂体仓库 · github.com