BoldingBuilds 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 无对齐 24GB GGUF 版本
BoldingBuilds 在 Hugging Face 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的无对齐版本,直接在 24GB 2-bit GGUF 上做权重空间消融,未经过 BF16 重量化,保留了 NVIDIA 量化感知蒸馏产出的约 17GB IQ2_XXS 专家权重。编辑共改动 100 个张量,采用 Arditi et al. 2024 的均值差方向法,λ=0 时输出与原文件逐字节一致作为自检门槛。
推荐理由:原文给出完整的消融方法、拒绝率与能力对照数据,读者可以据此评估这个去对齐版本的实际效果与局限。