跳到正文
Hugging Face · 新模型:abliterated·· 1 天前精选AI 评分66

DeepSeek-V4.1-Flash-1017 MLX 3.0bpw 去对齐 overlay 发布,仅 1.09 GB

lued/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-3.0bpw-abliterated-overlay

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/lued/DeepSeek-V4.1-Flash-1017-MLX-Serve-iQ-MLX-3.0bpw-abliterated-overlay

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

lued 发布 DeepSeek-V4.1-Flash-1017 MLX-Serve-iQ-MLX 3.0bpw 的 abliterated overlay,是一个 1.09 GB 的 sidecar,只重写基座包中 L10–35 的 26 个 attention 输出投影。JailbreakBench 上有害提示合规率从 9/100 升到 100/100,同时消除了基座对无害提示 11% 的过度拒绝;首 token KL 0.0915,GSM8K 与 IFEval 成对对比无回归。需 mlx-serve ≥ 26.10.3 与 256 GiB 统一内存 Mac,MTP 投机解码速度 57.1 → 124.3 tok/s 与基座一致,MIT 许可。

推荐理由

原文给出了 KL 散度、JailbreakBench 拒绝率和 GSM8K 等前后对照数据,可据此评估这个 1.09 GB 去对齐 sidecar 的实际改动幅度。

来源:Hugging Face · 新模型:abliterated · huggingface.co