Huihui-Qwen3.5-9B-abliterated-oQ4e-mtp 量化模型上线 Hugging Face
Huihui-Qwen3.5-9B-abliterated-oQ4e-mtp 基于 Qwen3.5 9B,使用 o(oMLX v0.7.0)混合精度量化,4 bit、group size 64,格式为 MLX safetensors,已在 Hugging Face 发布。
新闻、仓库与研究,按时间排列。
Huihui-Qwen3.5-9B-abliterated-oQ4e-mtp 基于 Qwen3.5 9B,使用 o(oMLX v0.7.0)混合精度量化,4 bit、group size 64,格式为 MLX safetensors,已在 Hugging Face 发布。
Hugging Face 上发布 Huihui-Qwen3.5-4B-abliterated-oQ4e,采用 oQ(oMLX v0.7.0)混合精度量化。模型类型为 qwen3_5,4 bit、group size 64,格式为 MLX safetensors。
SPK1337 在 Hugging Face 发布 Huihui-Qwen3.8-27B 的 NInfer v3 社区转换版,打包 abliterated Swift-1.5 GSQ-RCO IQ3_S 文本权重(含 MTP)、z-lab 的 DFlash2 draft adapter 和 Qwen3.8-27B vision projector,文件约 13.99 GiB,采用 Apache-2.0 许可。该 artifact 仅供 NInfer-all 运行时加载,不能通过 transformers.AutoModel 直接读取;本地验证 HTTP 端点可正常返回文本,但 DFlash2 接受率、tokens/second 等尚未 benchmark。
dealignai 基于 LibertAI 的 EXL3 3.5bpw 量化包(257.6 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文,保留视觉权重、MTP 头与 n-gram 表。实测 HarmBench-320 在 chat 与 thinking 模式均 320/320 全部 COMPLY,MMLU-500 从 67.60% 降至 64.80%(-2.80 pp)。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 55 tok/s 解码,并建议如需更低比特应重新跑 abliteration 流程而非直接重量化。
推荐理由:原文给出 MMLU 与 HarmBench 的前后对照数据,读者可以据此评估这个去对齐版本在拒绝率与能力之间的取舍。
dealinai 以 CRACK 权重级消融方式发布 GLM-5.3-Flash 的无对齐 FP8 版本,直接在张量中移除拒绝行为,不用微调、LoRA 或模板技巧。HarmBench-320 贪心解码 320/320 全部服从(0% 拒绝),MMLU 87.33% 高于基座 86.74%;模型为 320B 总参数、每 token 激活 18B 的混合 MoE,1M 上下文,H200 上原生 FP8 解码 163 tok/s,MTP 投机解码 211 tok/s、接受率 75.9%。消融在 reasoning-off 和 max 档完全无对齐,low 档保留部分拒绝;2026-08-28 更新修复了重复循环问题,需重新下载。
同一新闻,精选展示《GLM-5.3-Flash UNCENSORED FP8 发布,权重级去对齐且 MMLU 反超基座》
Ephab 在 Hugging Face 上传了 abliterated 版本的 SmolLM2-1.7B-Instruct 模型。模型卡为自动生成,开发者、许可证、训练数据等详细信息尚未填写,仅提示用户注意模型的风险、偏见与局限。
bambocher 在 Hugging Face 发布 Huihui-Qwen3.5-2B-abliterated 的 oQ4e-mtp 量化版本,采用 oQ(oMLX v0.7.0)混合精度量化。模型类型为 qwen3_5,4 bit、group size 64,格式为 MLX safetensors。
Huihui-Qwen3.5-0.8B-abliterated-oQ4e-mtp 在 Hugging Face 上发布,采用 oQ(oMLX v0.7.0)混合精度量化。模型类型为 qwen3_5,4 bit、group size 64,格式为 MLX safetensors。
dealignai 团队发布基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B active)的权重级消融版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,以原生 FP8 权重提供,无自定义 model.py 或运行时钩子。HarmBench-320 实测 CRACK 版在 effort=off 和 max 下均 100% 响应、零 HARD_REF/SOFT_RED/HEDGE,而基座在 effort=max 下拒绝率反而升至 1.56% 响应;MMLU-14k 全集准确率从 86.96% 降至 82.74%,剔除伦理类条目后约 -1.1 pp。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
douyamv 发布 abliterated(去审查)版 Qwen3.8-27B 的 GGUF 量化版本,提供 Q8_0 到 Q2_K 共 6 档,大小约 7.9 GB 至 28 GB,适用于 llama.cpp、Ollama、LM Studio 等 GGUF 兼容引擎。该模型通过在所有层投影去除 refusal direction 实现无限制对话,基座为 27.78B 参数、上下文 262,144 tokens(可扩展至 1M+),采用 Apache 2.0 许可。
xtools-at 基于 Qwen3.5-9B-Claude-3xMerge(Qwythos-9B-v2、Qwen3.5-9B-Fable-5-v1 与 Qwopus3.5-9B-Coder 的线性加权合并)发布去对齐版本,使用 Heretic v2.0.0.dev0 的 Arbitrary-Rank Ablation 处理第 16-23 层。实测拒绝率从原模型的 99/100 降至 1/100,KL 散度为 0.0205,并在 reproduce 目录提供复现说明。模型声明 Apache-2.0 许可,合并检查点本身无独立基准结果,源模型评测数据不可直接归因于该合并版本。
推荐理由:原文给出 Heretic 消融参数与拒绝率前后对比,去对齐效果可复现可查证。
nofacedfl 发布基于 Xiaomi 约 1 万亿参数 MiMo-V2.6-Pro 的 abliterated "heretic" 基座的约 2-bit 量化版(300 GB,GGUF 分片),适配 Maya 引擎并带独立视觉塔,MIT 许可。实测在 5× RTX 4090 48 GB + 2× A100 40 GB 上代码生成 71–75 tok/s、200K 上下文 38–40 tok/s,支持 512K 上下文与约 1.6 秒的图像输入;abliterated 基座在该量化下 40 道 JailbreakBench 请求仍拒答 24 题,运行时拒绝向量可将拒答降到 1–5/40 但会增加编造答案,暂未随包发布。
推荐理由:原文给出拒绝率实测数据,abliterated 基座经量化后 40 题仍拒答 24 题,读者可据此判断去对齐的实际程度。
发布者用 Heretic 对 Qwen3.8-27B 做去对齐处理并放出 GGUF 量化权重,100 条有害提示上的拒绝数从基座的 98 降到 12,首 token KL 散度为 0.1191。MTP 头被保留并逐文件验证,IQ2_M 到 Q8_0 各档相对 f16 的困惑度增量均给出,能力基准均值较基座下降 0.5 分,Apache 2.0 许可。
同一新闻,精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100》
junmo-k 在 Hugging Face 发布 Piecrust/GLM-5.3-Flash-FP4-Abliterated 的 MLX 重打包,基于 NVIDIA 的 NVFP4 量化版 GLM-5.3-Flash(320B 总参数、约 18B 激活),对第 15-36 层的 44 个矩阵施加 rank-1 拒绝方向编辑。在 Apple M5 Ultra 256GB 上实测,去对齐编辑相对未编辑版本 NLL 高 0.46%,解码慢 12-24%,峰值内存多约 13GB;相对作者自己的 158GiB JK v4 版 NLL 低 1.47%。加载需 14 行 oMLX 补丁以支持每专家 weight_scale_2。
推荐理由:作者给出消融方法细节和与未编辑版本的 NLL、速度、内存对照数据,可据此评估这次去对齐编辑的实际代价。
prithivMLmods 在 Hugging Face 发布 flux-3-image-klein-prompt-upsampler-abliterated 的 GGUF 量化版本,这是 BFL 基于 Qwen3.5-9B 微调的 9B 提示词扩写模型的去审查变体,通过权重正交化移除安全对齐,不再拒绝请求。它支持文生图、最多 10 张参考图的编辑和带 bounding box 的布局三种模式,权重 18.8 GB bfloat16,Apache 2.0 许可,提供 Q3_K_L 至 Q8_0 多种量化,其中 Q4_K_M 为 5.63 GB。
prithivMLmods 发布 flux-3-image-klein-prompt-upsampler-abliterated,基于 BFL 的 9B 视觉语言提示词扩展器(从 Qwen3.5-9B 微调),通过权重正交化移除安全对齐,模型拒绝率从 97/100 降至 10/100。它保留原版三种模式:文生图、最多 10 张参考图的编辑和带 bounding box 的布局,输出仅支持英文,权重 18.8 GB bfloat16,采用 Apache 2.0 许可开源。
Hugging Face 上架了 davemahoney69/Coder-14B-Abliterated-Merge-Q4 的 Q4_K_M 量化版本,并给出 llama.cpp 使用方法。用户可通过 llama serve 或 llama cli 直接加载该模型,在本地启动 OpenAI 兼容服务器或终端推理,支持 macOS、Linux、Windows(WinGet)、预编译二进制、源码构建及 Docker 多种安装方式。
Mitroshenkov87 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3-4B-Instruct-2507-abliterated 的未修改备份镜像,该模型为基于 Qwen/Qwen3-4B-Instruct-2507 的指令微调写作模型。镜像文件与原仓库 commit c9bd4645 逐字节一致,采用 Apache-2.0 许可,作为 Voxprint 模型下载器的备用下载源。
Hugging Face 上架了 abliterated 版 Qwen3.8-Flash-Next 125B 的 .finch 安装包,供 out-of-core FinchMoE 引擎使用,将路由专家重打包为 2-bit affine 量化,并原样携带源模型的视觉塔(333 个 BF16 张量,约 0.836 GiB)。总声明大小约 74.70 GB,常驻权重 3.88 GB,默认 16 个 expert-cache 槽位下专家缓存约 1.10 GiB,可运行于 12–16 GB 设备,8 GB iPhone 无法运行;当前文本生成可用,视觉运行时尚未支持。许可证为 Qwen Community License 1.0。
dealignai 发布了 DeepSeek-V4.1-Flash-1017 的去对齐版本 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8,仅在权重层面移除拒绝行为,保留视觉、视频、工具调用、推理档位与 1M 上下文。HarmBench-320 测试 320/320 全部 COMPLY、零拒绝;MMLU 从基线 87.63% 降至 83.77%,下降 3.86 个百分点。原生 FP8 e4m3 加 FP4 专家,与上游字节兼容,MIT 许可,已在 4×H200 上验证。
同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规》
Jaja2027 在 Hugging Face 上发布 Meta-Llama-3-8B-Instruct-abliterated-v3 模型,源自 failspy 的同名 abliterated 版本。模型采用 Safetensors 格式,参数规模 8B,张量类型为 BF16。
3MPER0RR 基于 SicariusSicariiStuff 的 Phi-3.5-mini-instruct_Uncensored,经多轮 abliteration 处理并测试保存,发布去审查版模型 3MPER0RR/Phi3.5-mini-instruct-3MPER0RR-abliterated。模型为 4B 参数、F16 精度,采用 Apache 2.0 许可,以 Safetensors 格式在 Hugging Face 开放下载。
Hugging Face 上发布了 llmfan46 制作的 Qwen3.5-9B ultra-uncensored heretic 模型的修复版。修复内容包括:将权重重命名为标准 model.language_model.* 布局、从 Qwen/Qwen3.5-9B 移植未修改的 vision tower 和 MTP head,并将 48 个被误存为 BF16 的语言张量恢复为原版 F32 精度。
Timamar 在 Hugging Face 发布 B.R.O-abliterated-27B,一个 27B 无审查网络安全大语言模型,基于 Qwen3.5-27B,经 refusal-direction 正交化去除审查后,用 rank-16 LoRA 在进攻安全、红队、逆向工程和二进制漏洞利用数据上训练并融合进基座权重。模型为 int4 量化,约 20.6 GB,上下文窗口 16,384 tokens,可通过 Ollama、llama.cpp 或 MLX 运行。
dealignai 以 CRACK 品牌发布 GLM-5.3 (753B) 的 NVFP4 去对齐版本,直接在权重中移除拒绝行为,不使用 SFT、DPO、LoRA 或越狱提示词。HarmBench 实测 high/max 推理档 156 条提示 0 拒绝,off 档拒绝率 7.3%(多为版权类);MMLU 84.11%,较 base 下降约 1.47pp。面向渗透测试、红队工具与 CTF 场景,附 vLLM 部署命令与 8× DGX Spark GB10 实测记录,NVFP4 的优势在 KV 池带来的 512K 实用上下文而非速度。
dealignai 发布 GLM-5.3-ABLITERATED-FP8 v2,对 GLM-5.3-FP8 做权重级去审查,仅修改 bf16 residual writer 张量、不动 FP8 专家,可在原版 vLLM 上以 Hopper 原生 FP8 速度运行。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HB-320 上 GARBAGE 降为 0,非版权危害面 TRUE_COMPLY 达 91.7%(off),代价是整体 TRUE_COMPLY 下降约 4pp;MMLU 87.43%,较基线 +1.85pp。附 TP8 H200 部署配置与 reasoning_effort 只认 low/high 等运行注意事项。
推荐理由:发布方给出了 MMLU 与 HarmBench-320 的前后对照数据,v2 版在消除推理循环的同时保留了约 87% 的 MMLU 水平。
Hugging Face 上架了 PenAgent/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,提供 image-text-to-text 多模态能力,默认量化版本为 UD-Q4_K_XL。该模型支持 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、Lemonade 等多种运行方式,并可启动 OpenAI 兼容 API 的本地服务器。
dealignai 团队发布 DeepSeek-V4.1-Flash 的权重级 abliterated 无对齐版本,基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B 激活),原生 FP8 权重、1M token 上下文,保留视觉、推理与工具能力。HarmBench-320 实测 CRACK 版在 effort=off/max 下均 100% 响应、零拒绝,MMLU-14k 整体从 86.96% 降至 82.74%,剔除伦理类后约 -1.1 pp。模型卡附 SGLang dsv4.1 分支与 vLLM 的部署路径、并发与显存经验数据,以及 ninja、--ep-size、reasoning parser 等启动坑位说明。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
huginnfork 发布基于 local-inference-lab/Qwen3.8-Flash-Next-FLARE 的 abliterated 版本,对 25,188 个张量中的 24,576 个做了拒绝方向编辑,属于不完整编辑。在 16 条提示词、协议 A(关闭思考)下,未编辑母模型拒绝率 100%,该版本为 18.8%,完整参考版为 0%;作者提醒 n=16 区间较宽,残余拒绝来自未编辑的 612 个注意力、共享专家和嵌入张量。
推荐理由:原文给出拒绝率实测和未编辑张量清单,读者可以据此判断这个不完整消融版本到底去掉了多少对齐。
Lygodactylus 在 Hugging Face 发布 Qwen/Qwen3.8-Flash-Next 的 abliterated 去对齐 BF16 全精度权重,按 Arditi et al. (2024) 方法从残差流中正交化移除拒绝方向,共编辑 149 个残差写入张量,保留完整视觉与视频塔(333 个 visual.* 张量)和 MTP 头。
推荐理由:原文给出按 Arditi et al. 2024 方法消融拒绝方向后的拒绝率与能力对比数据,读者可据此评估这个去对齐版本的实际代价。
huginnfork 发布 Qwen3.8-Flash-Next-NVFP4-Abliterated v4 的 CSF 压缩容器,比原版小 3.58 GB,权重与 v4 逐位一致。消融在量化网格上原位进行,rank-1 拒绝方向取自第 46 层、alpha=1.0,共编辑 25,188 个张量;有害拒绝率从母模型的 136/136 降到 0/136,过度拒绝从 4/59 降到 0/59,GPQA 差异不显著(p=0.286)。需带 NVFP4-CSF reader 的 vLLM 源码构建才能加载,作者提醒该模型拒绝行为被有意降低,部署时需自备安全措施。
推荐理由:原文给出rank-1拒绝方向消融的具体参数和与母模型的有害拒绝率对照数据,读者可据此评估这个去对齐版本的实际改动幅度。
Richard Erkhov 将 huihui-ai 的 Qwen2.5-Coder-1.5B-Instruct-abliterated 量化为多档 GGUF 版本,体积从 Q2_K 的 0.7GB 到 Q8_0 的 1.76GB。该模型是基于 Qwen2.5-Coder-1.5B-Instruct 的 abliterated 去审查版本,采用 apache-2.0 许可,评测显示 IF_Eval 45.41、MMLU Pro 20.57、GPQA 26.13。
drowzeys 在 Hugging Face 发布 keys-DeepSeek-V4.1-Flash-1017-Abliterated,这是针对 deepseek-ai/DeepSeek-V4.1-Flash-1017 的 keys overlay 而非完整 checkpoint。消融范围为 L10–35 的 attn.wo_b(λ=3.5,k=1,mean Δrel ≈ 0.053),L0–9、L36–39、MTP、vision、Engram、experts 等锚点保持不动;Refusal32 32/32 BYPASS、0 拒绝、0 乱码,Cyber 22/22 BYPASS。
推荐理由:原文给出了消融层范围、λ参数和 Refusal32 拒绝率前后对比,读者可据此判断这个去对齐 overlay 的实际改动幅度。
Piecrust 将 Huihui 的拒绝方向消融编辑重新应用到 NVIDIA 的 GLM-5.3-Flash-FP4-Local 权重上,发布去对齐版本。仅改动 15 至 36 层的 44 个矩阵(self_attn.o_proj 与 mlp.shared_experts.down_proj),其余权重与原检查点逐字节一致;因 NVIDIA 做过量化感知蒸馏,编辑以 rank-1 方式重算而非直接套用 delta,重编码后保留 91-95% 编辑强度。实测在 2× RTX PRO 6000 Blackwell 上拒绝探针 12 问 0 拒绝(原版拒绝 2 次),GSM8K 94/96 对 95/96,解码速度基本持平;需 NVIDIA 列出的容器环境,上游 vLLM 暂不支持。
推荐理由:原文给出逐字节校验、拒绝探针前后对比和速度质量数据,可据此判断这个去对齐版本改了什么、代价多大。
RuCoverLAB 发布 DeepSeek-R1-Distill-Llama-8B 的 abliterated(去审查)版本,用 Heretic 工具移除模型的「拒绝方向」。在 100 个敏感提示词测试中,拒绝次数从原版的 43 次降至 14 次,降幅 67%;KL 散度仅 0.0021,表明推理能力基本无损。
Loke-60000 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local-abliterated,基于 NVIDIA 的 Qwen3.8-Flash-Next-FP4-Local(revision b9ce18a)投影移除两个拒答方向,仅修改 80 个张量、21 个分片中的 2 个,量化格式不变。模型不再拒答,可能执行删除数据等破坏性请求;未跑任何 benchmark,需搭配基础模型其余 19 个分片使用,遵循 NVIDIA Open Model Agreement 和 Qwen Community License 1.0。
dealignai 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的去审查 FP8 版本,移除拒绝行为并保留视觉、视频、工具调用、推理档位(low/high/max)与 1M token 上下文。模型采用原生 FP8 (e4m3) 权重加 FP4 MoE 专家,40 层 MoE,与上游字节兼容,MIT 许可,需手动申请访问;内部合规冒烟测试 10/10 全部通过,已在 4×H200(564 GB VRAM)上验证。
Hugging Face 上新增 dealignai 的 DeepSeek-V4.1-Flash-1017-ABLITERATED-FP8 仓库,与 UNCENSORED 仓库为同一模型、同一发布日期,仅为方便搜索 "abliterated" 的别名引用。基础模型与推理引擎(inference/)、编码模块(encoding/)来自 DeepSeek-AI(MIT),再分发、量化(GGUF/MLX/EXL/AWQ)或微调时须署名 dealignai 并回链原仓库。
Hugging Face 用户 edp1096 发布 GLM-5.3-Flash 的非官方 NVIDIA FP4-Local 衍生版本,将 Huihui Q8 abliterated 权重的差量应用到 nvidia/GLM-5.3-Flash-FP4-Local 基座。更新了第 15–36 层的 44 个 attention-output/shared-expert-down 矩阵和 22 个 scale 张量,其余张量保留,无需额外 QAD 训练。运行需两台 DGX Sparks(TP2)和 B12X vLLM;42 个权重文件全部校验通过,8/8 冒烟测试通过,最长实测输入 64,481 tokens。
lafintiger 在 Hugging Face 上传了 huihui-ai/Huihui-Ornith-1.5-35B-A3B-abliterated 的重标注副本,权重未修改,仅将 base_model 标注改为同架构的 Qwen/Qwen3.6-35B-A3B,以便在 Tiiny 设备上导入。原模型是通过 abliteration 移除拒绝行为的无审查版本,仅对第 11 至 29 层做了消融,许可与署名归原作者。