跳到正文
Hugging Face · 新模型:abliterated·· 18 天前精选AI 评分60

GLM-4.7-Flash abliterated 去对齐版发布,拒绝率从 92% 降至 1%

Torbeck/GLM-4.7-Flash-abliterated

来源与原文

Hugging Face · 新模型:abliterated

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/Torbeck/GLM-4.7-Flash-abliterated

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Torbeck 发布基于 zai-org/GLM-4.7-Flash 的 abliterated 去对齐版本,使用 Abliterix 制作。在 100 条有害提示上用 Gemini Flash 作 LLM judge 评测,拒绝率从原版 92/100 降至 1/100,KL 散度 0.0133,表明通用能力与原版基本一致。方法包括对 47 层计算拒绝方向、对 MLA 注意力输出投影和 MLP/专家下投影独立导向,并对 46 个路由层做混合 MoE 导向(21 个专家 router 权重抑制 bias=-1.64 加融合专家消融 weight=1.85),经 Optuna TPE 50 次试验优化。

推荐理由

模型卡给出了拒绝方向计算、MoE 专家导向的具体消融步骤和 1% 对 92% 的拒绝率对比,方法可复现。

来源:Hugging Face · 新模型:abliterated · huggingface.co