xtools-at 发布 Ministral-3-8B-Reasoning-2512 的去对齐版本,拒绝率从 96/100 降至 6/100
xtools-at 在 Hugging Face 放出 Ministral-3-8B-Reasoning-2512 的去对齐版本,基于 Heretic v2.0.0.dev0 Arbitrary-Rank Ablation(ARA)对第 13 至 25 层做消融。实测 100 次拒绝率从原模型的 96/100 降到 6/100,KL 散度为 0.0839;原模型为带视觉能力的 8.4B 语言模型加 0.4B 视觉编码器,支持 256k 上下文,BF16 需 24GB 显存,量化后低于 12GB。
推荐理由:原文给出 Heretic ARA 消融参数与拒绝率从 96/100 降到 6/100 的前后对比,KL 散度数据可直接评估去对齐改动幅度。