跳到正文
Hugging Face · 新模型:abliterated·· 3 小时前AI 评分46

Rajan98/Qwen2.5-0.5B-Instruct-abliterated 发布:移除拒绝方向的 abliterated 版 Qwen2.5-0.5B-Instruct

Rajan98/Qwen2.5-0.5B-Instruct-abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Rajan98/Qwen2.5-0.5B-Instruct-abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Rajan98 发布 Qwen2.5-0.5B-Instruct-abliterated,基于 Qwen/Qwen2.5-0.5B-Instruct,按 Arditi et al. 2024 方法从权重中投影移除拒绝方向,不做任何微调或训练。在第 16 层(共 24 层)正交化 o_proj、down_proj 和 embed_tokens,架构与 tokenizer 不变。测试集上有害提示拒绝率从 0.65 降至 0.00,无害提示 KL 仅 0.025,模型将顺从原版会拒绝的请求,供可解释性与对齐研究使用,Apache-2.0 许可。

来源:Hugging Face · 新模型:abliterated · huggingface.co