跳到正文
Hugging Face · 新模型:abliterated·· 11 天前精选AI 评分78

BoldingBuilds 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 无对齐 24GB GGUF 版本

BoldingBuilds/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-Abliterated-24GB-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/BoldingBuilds/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-Abliterated-24GB-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

BoldingBuilds 在 Hugging Face 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的无对齐版本,直接在 24GB 2-bit GGUF 上做权重空间消融,未经过 BF16 重量化,保留了 NVIDIA 量化感知蒸馏产出的约 17GB IQ2_XXS 专家权重。编辑共改动 100 个张量,采用 Arditi et al. 2024 的均值差方向法,λ=0 时输出与原文件逐字节一致作为自检门槛。

推荐理由

原文给出完整的消融方法、拒绝率与能力对照数据,读者可以据此评估这个去对齐版本的实际效果与局限。

来源:Hugging Face · 新模型:abliterated · huggingface.co