GitHub · 去对齐工具与仓库·· 3 小时前AI 评分46
quantibbler：基于潜在二进制分解的大语言模型 sub-1-bit 权重量化压缩与推理服务
donicrosby/quantibbler
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/donicrosby/quantibbler
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
quantibbler 通过潜在二进制分解（W ≈ diag(s₁)·(UᵇVᵇᵀ)·diag(s₂)）实现大语言模型 sub-1-bit 权重量化，将 Uᵇ、Vᵇ 以每权重 1 bit 打包，有效存储低于 1 bit/权重。项目包含 Python 压缩器（PTQ 与 QAT）、纯 Rust 的 OpenAI 兼容推理服务器（tokio + axum）和共享的 Rust kernels，采用 Apache-2.0 许可证，当前处于 spec-first 状态。
来源：GitHub · 去对齐工具与仓库 · github.com