GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分72
Octuma 开源：将大模型量化到 4/8 bit 以便在低配设备与 llama.cpp 上本地运行
1mano1/octuma
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/1mano1/octuma
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开发者发布 Python 量化库 Octuma（前身为 TinyQ），用 GPTQ+AWQ、每组 32 权重把模型量化到 INT4/INT8，可导出 GGUF（Q4_1）供 llama.cpp 和 Android 使用，Qwen2.5-3B 从 6.18 GB 压到 2.40 GB、质量损失 2.4%。作者给出同引擎对比：在 3B 上质量损失仅为 Q4_K_M 的约 1/2.6，但文件大 24%-33%，且 0.5B 上 Q4_K_M 更优；也注明 PyTorch 内不加速（4.2 tok/s 对 14.4）、未与 AutoGPTQ 对比、GGUF 导出仅支持 llama/qwen2/mistral/gemma 四种架构。
推荐理由
作者用同一引擎和语料把自家的 INT4 与 llama.cpp、bitsandbytes 实测对比，还写清了局限，适合想本地量化的读者参考。
来源：GitHub · 去对齐工具与仓库 · github.com