跳到正文
我的
Hugging Face · 新模型:abliterated·· 1 天前精选AI 评分68

LFM3-Omni-2B 的 abliterated 版本用 Heretic v2 ARA 完成去拒绝消融并放出权重

mizahnyx/lfm3-omni-2b-abliterated-heretic-v2

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/mizahnyx/lfm3-omni-2b-abliterated-heretic-v2

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mizahnyx 在 Hugging Face 发布基于 LiquidAI/LFM3-Omni-2B 的 abliterated 衍生模型,用 Heretic v2.0.0 的 ARA 修饰器对 24 层文本骨干的 attn.o_proj 与 mlp.down_proj 做拒绝消融,60 次 Optuna 试验(seed 42)在 CPU/iGPU 上耗时 3 小时 48 分。评测显示关键词拒绝率从 99/100 降至 1/100,分类器拒绝率 98/100 降至 0/100,KL 散度 0.063,5 项能力抽查与基座一致;发布者刻意放弃 0 拒绝点(该点 KL 2.27 且出现能力退化),选择保持能力的 Pareto index 2 权重。

推荐理由

仓库给出完整消融参数、拒绝率前后对比和能力抽查,还诚实指出 Pareto 最优点已损,读者可据此评估这个去对齐版本。

来源:Hugging Face · 新模型:abliterated · huggingface.co

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。