跳到正文
GitHub · 灵魂体仓库·· 20 天前精选AI 评分57

BitTrellis 开源:为特定 GPU 自动搜索 Qwen3.8-27B 的最优逐层量化配方

coderbench/bittrellis

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/coderbench/bittrellis

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

BitTrellis 仓库发布,它针对 Qwen3.8-27B 与 RTX 5090(32 GB)自动搜索逐层压缩配方,以 RP-KL 衡量与 BF16 原模型的偏移,并生成真实 checkpoint 在 SparkInfer 上实测质量、速度与显存。测量发现多数公开语料上的保真度收益无法在私有 holdout 上延续,V13 仅 9% 收益迁移、V3 仅 44%,均未达标;真正存活的是 Q4_K 的显存节省,V1 节省 1.8 GiB、V6 节省 1.2 GiB 且通过 holdout,代价是 4K prompt 读取速度最多下降 49%。矿工可通过提交 YAML manifest 或新量化器参与,合并后在 Gittensor 上按 frontier 增益获得报酬。

推荐理由

原文用真实测量说明了公开语料上的保真度收益在私有 holdout 上大多不成立,这个验证思路对做量化压缩的人有参考价值。

来源:GitHub · 灵魂体仓库 · github.com