Hugging Face · 新模型:abliterated·· 13 天前精选AI 评分54
thelogicalgate 发布 NVIDIA Nemotron 3.5 Lightning 30B-A3B 的 MLX 4-bit 去对齐版
thelogicalgate/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit-Abliterated
来源与原文
Hugging Face · 新模型:abliterated
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/thelogicalgate/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit-Abliterated
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
thelogicalgate 发布 NVIDIA Nemotron 3.5 Lightning 30B-A3B 的去对齐 MLX 4-bit 版本,保留原量化格式与 MTP sidecar,权重约 17.25 GiB。去对齐采用残差方向投影,从 8 个拒答提示与 8 个良性提示估计对比方向,移除第 20 层方向于 76 个残差写入矩阵;验证显示全部张量校验通过,16 条良性提示未检出拒答前缀,256-token 语言控制 NLL 上升 1.01%,拒答前缀概率比约 0.555 与 0.603。作者指出这是真实权重修改而非系统提示替代,模型仍可能拒答部分请求,且未生成完整有害回答评测。
推荐理由
模型卡给出消融方向、编辑层与拒绝概率比等验证数据,可据此评估这一去对齐版本的实际改动幅度。
来源:Hugging Face · 新模型:abliterated · huggingface.co