跳到正文
Hugging Face · 新模型:abliterated·· 13 天前精选AI 评分62

alexwkleung 发布 LFM3-1.7B-Abliterated GGUF 量化版

alexwkleung/LFM3-1.7B-Abliterated-GGUF

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/alexwkleung/LFM3-1.7B-Abliterated-GGUF

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

alexwkleung 用 Heretic 2.1.0 的 Arbitrary-Rank Ablation 对 LiquidAI/LFM3-1.7B 做去对齐,改动 16 个张量,并用 llama.cpp 量化出 Q4_K_M 到 Q8_0 四个 GGUF 文件。在 harmful_behaviors test[60:] 的 44 条提示上,Q8_0 版本的拒绝标记数从原版 40/44 降到 3/44(关闭 thinking),但作者指出模型更多是软化而非真正回答,部分回答会替换成无害任务。GSM8K 配对测试中 abliterated 版 95/100 对原版 98/100,三处翻转全部不利于该版本,统计上不显著。

推荐理由

作者给出了拒绝率前后对比、GSM8K 配对测试和系统提示词对照,读者能据此判断这个 1.7B 去对齐版本的实际代价。

来源:Hugging Face · 新模型:abliterated · huggingface.co