跳到正文
Hugging Face · 新模型:abliterated·· 2 小时前精选AI 评分52

Qwen2.5-1.5B-Abliterated-2.0.1 发布,硬拒绝率从94.5%降至2.1%

AmareshHebbar/Qwen2.5-1.5B-Abliterated-2.0.1

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/AmareshHebbar/Qwen2.5-1.5B-Abliterated-2.0.1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

AmareshHebbar 发布基于 unsloth/Qwen2.5-1.5B-Instruct 的 abliterated 版本,采用 Winsorized Gram-Schmidt 正交投影在权重空间中和拒绝子空间,而非全参数微调。硬拒绝率从基线 94.5% 降至 2.1%,直接合规率升至 97.9%,能力保留 99.2%;MMLU Abstract Algebra 0-shot 37.00%,GSM8K 28.00%,困惑度门槛 <25 通过。模型以 bfloat16/float16 合并 16-bit 权重开放,作者提示生产部署需自行加外部护栏。

推荐理由

原文给出拒绝率从94.5%降到2.1%的对照数据和MMLU、GSM8K评测,可据此评估去对齐的代价。

来源:Hugging Face · 新模型:abliterated · huggingface.co