GitHub · 灵魂体仓库·· 20 天前精选AI 评分57
BitTrellis 开源:为特定 GPU 自动搜索 Qwen3.8-27B 的最优逐层量化配方
coderbench/bittrellis
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/coderbench/bittrellis
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
BitTrellis 仓库发布,它针对 Qwen3.8-27B 与 RTX 5090(32 GB)自动搜索逐层压缩配方,以 RP-KL 衡量与 BF16 原模型的偏移,并生成真实 checkpoint 在 SparkInfer 上实测质量、速度与显存。测量发现多数公开语料上的保真度收益无法在私有 holdout 上延续,V13 仅 9% 收益迁移、V3 仅 44%,均未达标;真正存活的是 Q4_K 的显存节省,V1 节省 1.8 GiB、V6 节省 1.2 GiB 且通过 holdout,代价是 4K prompt 读取速度最多下降 49%。矿工可通过提交 YAML manifest 或新量化器参与,合并后在 Gittensor 上按 frontier 增益获得报酬。
推荐理由
原文用真实测量说明了公开语料上的保真度收益在私有 holdout 上大多不成立,这个验证思路对做量化压缩的人有参考价值。
来源:GitHub · 灵魂体仓库 · github.com