跳到正文
Hugging Face · 新模型:abliterated·· 20 天前精选AI 评分68

orcarouter 发布 LiquidAI LFM3-1.7B 的 abliterated 去对齐权重

orcarouter/LFM3-1.7B-abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/orcarouter/LFM3-1.7B-abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

OrcaRouter 发布了 LiquidAI/LFM3-1.7B 的 abliterated 版本,用 diff-of-means 方法估计单一拒绝方向并从 49 个残差流写入矩阵中正交化移除。有害提示平均拒绝率从 base 的 87.3% 降到 2.8%,良性提示过拒绝反而更低;GSM8K 和 CMMLU 基本不变,MMLU 从 49.0% 微降到 45.7%。权重为 bf16 safetensors 约 3.4 GB,可单卡运行,需 transformers >= 5.12 并开启 trust_remote_code=True,仅面向可解释性、AI 安全和红队研究等合法用途。

推荐理由

模型卡给出了消融方法、逐基准拒绝率前后对比和保留能力数据,读者可以自行核对去对齐的代价与收益。

来源:Hugging Face · 新模型:abliterated · huggingface.co