跳到正文
热点事件持续更新

quantibbler 亚1-bit量化工具仓库发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

donicrosby 在 GitHub 发布 quantibbler 仓库,提供基于潜在二进制分解的大语言模型 sub-1-bit 权重量化工具,采用 Apache-2.0 许可证。项目称通过将分解后的矩阵以每权重 1 bit 打包,实现低于 1 bit/权重的有效存储。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. GitHub · 去对齐工具与仓库
    quantibbler:基于潜在二进制分解的大语言模型 sub-1-bit 权重量化压缩与推理服务

    quantibbler 通过潜在二进制分解(W ≈ diag(s₁)·(UᵇVᵇᵀ)·diag(s₂))实现大语言模型 sub-1-bit 权重量化,将 Uᵇ、Vᵇ 以每权重 1 bit 打包,有效存储低于 1 bit/权重。项目包含 Python 压缩器(PTQ 与 QAT)、纯 Rust 的 OpenAI 兼容推理服务器(tokio + axum)和共享的 Rust kernels,采用 Apache-2.0 许可证,当前处于 spec-first 状态。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。