quantibbler 亚1-bit量化工具仓库发布
热点事件持续更新
quantibbler 亚1-bit量化工具仓库发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
donicrosby 在 GitHub 发布 quantibbler 仓库,提供基于潜在二进制分解的大语言模型 sub-1-bit 权重量化工具,采用 Apache-2.0 许可证。项目称通过将分解后的矩阵以每权重 1 bit 打包,实现低于 1 bit/权重的有效存储。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 10:44
quantibbler:基于潜在二进制分解的大语言模型 sub-1-bit 权重量化压缩与推理服务报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- GitHub · 去对齐工具与仓库quantibbler:基于潜在二进制分解的大语言模型 sub-1-bit 权重量化压缩与推理服务
quantibbler 通过潜在二进制分解(W ≈ diag(s₁)·(UᵇVᵇᵀ)·diag(s₂))实现大语言模型 sub-1-bit 权重量化,将 Uᵇ、Vᵇ 以每权重 1 bit 打包,有效存储低于 1 bit/权重。项目包含 Python 压缩器(PTQ 与 QAT)、纯 Rust 的 OpenAI 兼容推理服务器(tokio + axum)和共享的 Rust kernels,采用 Apache-2.0 许可证,当前处于 spec-first 状态。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。