quocbao747/gemma-4-26B-A4B-it-qat-abliterated-mlx-4bit-dwq 模型上线 Hugging Face
Hugging Face 上架了 abliterated 版模型 quocbao747/gemma-4-26B-A4B-it-qat-abliterated-mlx-4bit-dwq。该仓库公开可见,但用户需登录并同意分享联系信息、接受相关条件后才能访问模型文件和内容。
新闻、仓库与研究,按时间排列。
Hugging Face 上架了 abliterated 版模型 quocbao747/gemma-4-26B-A4B-it-qat-abliterated-mlx-4bit-dwq。该仓库公开可见,但用户需登录并同意分享联系信息、接受相关条件后才能访问模型文件和内容。
edgebites 在 Hugging Face 发布 MiniCPM5-2B-Abliterated 的 IQ4_XS 量化 GGUF 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行,支持以本地 OpenAI 兼容服务器或终端推理方式使用,也可接入 Pi、Hermes、OpenClaw 等 Agent。
anlord 在 Hugging Face 发布 google/gemma-4-E2B-it 的 abliterated 版本,用方向消融直接原地改权重,无微调无 LoRA,拒绝率从 99/100 降到 4/100,KL 散度为 2.9072。方法为 Anlord Abliterator 1.6.0 加 Optuna TPE 多目标搜索(100 trials,seed 42),仅修改 35 层文本塔,视觉与音频编码器保留原权重;仓库附带 4 点 Pareto 前沿的更温和变体参数和完整逐字节复现包,GGUF 量化在配套仓库 anlord/gemma-4-E2B-it-abliterated-GGUF 提供 F16 至 Q4_0。
推荐理由:原文给出了完整的消融方法、拒绝率与KL偏移数据及四点Pareto前沿,读者可按需选择去对齐强度并逐字节复现。
anlord 在 Hugging Face 发布 gemma-4-E2B-it-abliterated 的 GGUF 量化合集,原模型消融拒绝行为后每 100 条有害提示的拒绝数从 99 降到 4。提供 bf16 到 Q4_0 共 12 个量化文件,全部由同一 F16 源用 llama-quantize 转换,8 GB 显存的 GPU 可完整容纳 Q4_K_M 至 Q8_0,仅含文本塔,多模态推理需用父仓库 safetensors,许可沿用 Gemma 条款。
推荐理由:原文给出拒绝率前后对比和各量化档位的实测说明,读者可按显存预算直接挑选合适档位。
cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版,用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练,经 Heretic 消融后拒绝率从 100/100 降到 6/100,KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板,图像输入经测试可用,视频部分未测试,建议最低 q4ks(非 imatrix)或 IQ3S(imatrix)量化。
推荐理由:作者给出了消融后的 KL 散度和拒绝率前后对比,以及七项基准分数变化,读者可自行判断去对齐的代价。
HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Uncensored Aggressive 无对齐变体 GGUF 量化,实测 0/465 次拒绝,无前导客套地直接回答。所有文本 GGUF 保留原生 NextN/MTP 头,并附带 HauhauCS FastMTP 32K 加速 sidecar,在 RTX PRO 6000 上对比关闭 MTP 时文档 TG 最高达 3.02x、推理 TG 最高 1.93x,Q8_K_P 档位比标准内嵌 MTP 快 35.2%/21.1%;提供 Q2 至 Q8 及 IQ 系列量化、BF16 视觉 projector、llama.cpp 补丁与部署命令,附 Ed25519 签名清单校验。
作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本(IQ2_M 到 Q8_0),用 Heretic 移除拒绝方向,保留 MTP 头,拒绝行为显著减少但未消除,从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加(相对约 0.7%),MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测(n_max 1 时约 1.19x-1.28x 加速)。
推荐理由:作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据,可以据此判断权重编辑的实际代价。
用户 llmguy342 在 Hugging Face 发布了 Qwopus3.5-9B-Uncensored 的 GGUF 版本。该模型仓库的 README 目前为空,未附带任何说明文档,且尚未被任何 Inference Provider 部署,下载量暂未被追踪。
sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版,权重、head、视觉塔和 KV cache 均为 4-bit,在单张 RTX 4090 上实现约 194K token 上下文池(视觉开启),写入速度 45 tok/s(32K prompt 时 41.9 tok/s)。量化 KL mean 0.0262 与 4.00bpw-h6 相同,困惑度 16.687(BF16 源为 16.586);仅支持 TabbyAPI 或 ExLlamaV3,Apache 2.0 许可,去对齐工作出自 llmfan46。
推荐理由:原文给出了完整的 KL、困惑度、VRAM 和速度实测数据,读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。
mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型,默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行,支持启动 OpenAI 兼容服务器或终端推理,也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用,并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。
dealignai 团队发布基于 deepseek-ai/DeepSeek-V4.1-Flash(552B 骨干)的权重级消融版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,HarmBench-320 攻击成功率从基座的 42.81% 提升到 100%,且在各 effort 档位均为 320/320。MMLU-14k 整体下降 4.22pp,剔除伦理类题目后仅降 1.1pp,符合 3pp 能力保留目标;卡片还提供 SGLang 部署命令、硬件实测(4×H200,约510GB 权重)与启动注意事项。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
dealignai 以 CRACK 权重级去审查方式发布 GLM-5.3-Flash UNCENSORED FP8(320B 总参数、18B 激活、1M 上下文),在 reasoning-off 和 max 档 HarmBench-320 上 320/320 全部顺从、0 拒绝,MMLU 87.33% 高于 base 的 86.74%。模型支持视觉与 MTP 投机解码(75.9% 接受率),H200 原生 FP8 解码 163 tok/s。文中还给出部署要点,如 reasoning_effort 只接受 low/high、max 档需 max_tokens ≥ 6000、视频 fps 需低于原帧率等;2026-08-28 修复重复循环问题后需重新下载。
同一新闻,精选展示《GLM-5.3-Flash UNCENSORED FP8 发布,权重级去对齐且 MMLU 反超基座》
ImposterOnline 的 Pyrz-8B-Instruct-Uncensored-GGUF 已上线 Hugging Face,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地运行,也支持 Ollama、Docker、LM Studio 等方式,并能启动本地 OpenAI 兼容服务器供 Pi、Hermes、OpenClaw 等工具调用。
j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版,约 19.2 GB,5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度,保留 BF16 视觉塔与 MTP head sidecar,262,144 token 上下文;Capability Score 88.86,高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。
推荐理由:原文给出逐层 KL 敏感度测量和 6 项基准对比,读者可评估混合量化相对参考版的质量取舍。
autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark,通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化,每 token 仍激活 18B 参数,权重 124 GiB 为家族最小,单张 180 GB Blackwell GPU 可跑,双 DGX Spark 各承担约 62 GiB。
推荐理由:作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异,便于按硬件选型。
TechnoBaptist 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 模型已在 Hugging Face 上架,提供 Q2_K 量化版本。用户可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具拉取运行,llama.cpp 支持启动本地 OpenAI 兼容服务器并提供 Web UI。
mincon 在 Hugging Face 发布 Qwen3.8-27B 的 RVN 双重精炼 ARA 消融版本(GGUF),在 trohrbaugh 的 heretic-ara 基础上追加两次全权重 ARA 处理。独立实测显示有害提示词拒绝率从 3/100 降至 0–1/100,相对 base 模型的 KL 损伤从 0.0535 降至 0.0085;仓库提供 multilingual、MTP、vision 等 GGUF 文件家族并附各量化档的显存建议与 llama.cpp 推理速度实测。
codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化,采用 Unsloth 逐张量配方,MTP 头(blk.64)在各档保持 q6_K/q8_0,使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍,RTX 4080 上开启 MTP 后代码生成 55 tok/s,约为关闭时的 1.9 倍;拒绝率数据来自 llmfan46 的 Heretic v2(3/100 拒绝),本仓库未复测。
推荐理由:作者对每档量化都实测了 KLD、top-1 命中率和解码速度,并与同权重其他量化逐项对比,数据可直接用于选型。
mradermacher 在 Hugging Face 上提供 Ostrich-27B-261008-Qwen3.8-Abliterated-i1-GGUF 模型,支持 Q2_K 等量化格式。用户可通过 llama.cpp 本地部署,兼容 LM Studio、Ollama、Pi、Docker Model Runner、Lemonade 等工具,并提供 OpenAI 兼容的本地服务器。
AtomicChat 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 现已上架 Hugging Face。该模型提供 Q2_K 量化版本,可通过 llama.cpp 一条命令启动本地 OpenAI 兼容服务器并带 Web UI,示例命令为 `llama serve -hf AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF:Q2_K`。页面同时给出在 Ollama、Docker、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中的接入方法。
rajaykumar12959 在 Hugging Face 发布 Qwen/Qwen3.8-27B 的 abliterated 版本,用 difference-in-means 方向对每个残差写入权重矩阵做正交化,消融直接写入 checkpoint,无 runtime hook 和 LoRA,仅含语言模型部分(bf16,text-only,约需 55 GB 显存)。在 292 个 held-out 有害提示上拒绝率从 99.3% 降至 0%,覆盖全部 12 个类别;代价是 MMLU-Pro 从 65.1% 降至 61.8%(−3.3 pp),harmless 提示上的 KL 散度为 0.086 nats。
推荐理由:给出了完整的消融方法、逐层扫描和拒绝率前后对比数据,读者可以据此评估这次去对齐的实际代价与副作用。
alexwkleung 发布 JetBrains/Mellum2.1-12B-A2.5B-Thinking 的 abliterated GGUF 版本,用 Heretic 消融 662 个 tensor,拒绝率在 enable_thinking 为 false 时从 43/44 降至 14/44,GSM8K 89/100 无明显回归。作者还发现 Heretic 1.4 在 Transformers 5 的融合 MoE 模块上会静默跳过专家层,此构建将融合专家拆回独立 Linear 后再消融,提供 Q4_K_M 到 Q8_0 共四档量化文件与 sha256 校验值。
推荐理由:卡片给出消融修改的 tensor 清单和拒绝率前后对照,还包括 Heretic 在 MoE 融合模块上静默失败的具体坑与修复方法。
AtomicChat 在 Hugging Face 上发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型,提供 Q4_K_M 量化版本。文档给出 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式,包括启动 OpenAI 兼容服务器和终端直接推理的命令,并覆盖 Pi、Hermes Agent、OpenClaw 等工具的配置方法。
huihui-ai 基于 microsoft/Phi-4-multimodal-instruct 制作的去审查版 Phi-4-multimodal-instruct-abliterated 已上传 Hugging Face,采用 abliteration 技术移除模型的拒绝行为,且仅处理了文本部分、未处理图像部分。模型可用 Hugging Face transformers 库加载,支持 flash_attention_2 与 bfloat16。
UkisAI 的 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 推出 VAL-APEX-I NanoPlus V3 GGUF 量化版,文件仅 11.08 GB、整文件 BPW 2.85,WikiText-2 PPL 为 6.9102,比基线 GSQ-RCO IQ3_S 低 2.26%。模型基于 Qwen3.8-27B 的 27B MoE 推理微调,内置 Multi-Token Prediction 头(blk.64.*,15 个 tensors)可在 llama.cpp 中直接投机解码,并保留 mmproj-Q8_0.gguf 视觉编码器与法、西、德、中多语言语法完整性。
3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重,将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128,权重文件从 8.60 GB 降至 8.37 GB,节省约 230 MB(2.68%)。全部 2,057 个语言张量逐字节不变,思考模板与 tool-call 格式保留,上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过,但推理质量未经 benchmark,视觉量化为有损。
ajgazin 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 量化版本(swift15_qwen3_8_27b_uncensored_nvfp4.ninfer),面向 Blackwell(sm_120a)NInfer 引擎。文件包含 text、vision、MTP 和 DFlash2 组件,64 层经校准的 NVFP4 MLP,其余为 FP8,单文件约 22.78 GB。在 32 GB GPU 上驻留权重约 18.1 GiB(无投机解码)至 20.5 GiB(DFlash2),支持 --max-context 32768,采用 Swift Open License v1.0 许可。
Hugging Face 上架 GGUF 格式模型 Swift-1.5-Qwen3.8-27B-Uncensored-MTP-VAL-APEX-I-MiniPlus-V2.1。该模型暂无 model card,参数规模标注为 0.5B,架构为 clip,尚未被任何 Inference Provider 部署。
Hugging Face 上架 IsValorum/Swift-1.5-Qwen3.8-27B-Uncensored-MTP-VAL-APEX-I-NanoPlus 的 GGUF 版本,页面未附模型卡片。该模型标注为 0.5B 参数、clip 架构,目前尚无任何 Inference Provider 部署,用户需登录查看硬件兼容性。
sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本,使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型,也可在 Llama.cpp 中自行编译并推理,server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。
Hugging Face 上线 Ternary Bonsai 2 27B Uncensored Heretic v2 的社区 MLX 2-bit 转换版,Safetensors 权重约 8.60 GB(含视觉塔),配置上下文上限 262,144 tokens,采用 Apache 2.0 许可。权重来自 Heretic v2 PQ2_0 模型,无损重打包为 affine 2-bit/group-128 存储且未做额外量化或训练。该模型需在 Apple Silicon Mac 上用 mlx-vlm 0.7.2 及支持 prism_hadamard_qwen35 架构的加载器运行,并提供 OpenAI 兼容 API。
千问(Qwen)发布 Qwen-Image-2.1-Turbo,这是 Qwen-Image-2.1 的加速检查点,支持 8 去噪步的文生图与图像编辑。模型沿用 7B 视觉生成架构,可通过 Diffusers 的 QwenImage21Pipeline 直接加载,采样日程随检查点自动加载,默认 CFG=1 并用 prefix KV caching 复用文本和参考图上下文。模型采用 Qwen Research License Agreement 授权。
推荐理由:官方发布了 8 步加速版文生图与图像编辑权重,采样日程随检查点自动加载,附 Diffusers 用法,适合想在本地跑快速生成的读者。
Kujira 在 Hugging Face 发布 Underdog-Saluki-27B-1.0-MTP 的 abliterated GGUF 版,仅改动第 35–36 层的 4 个张量,其余 862 个张量与原文件字节级一致,未做训练。有害提示词拒绝率从 99% 降到 1%(开思考时 78% 到 2%),英语困惑度上升 1.6%、日语上升 1.8%,速度和显存与 MTP 版相同,约 58–62 tok/s,12 GB 显卡可用 40K 上下文。消融方法未公开。
推荐理由:原文列出消融改动的具体张量、拒绝率前后对比和困惑度变化,读者可以评估这个去对齐版本的代价。
huynhtin2002/Noct-Q-Uncensored-Qwen-Image-2.1 是一个基于 Diffusion 的图像模型,已上架 Hugging Face。页面提供其与 Diffusion Single File、Google Colab 和 Kaggle 等工具配合使用的入门指引,目前暂无可用代码片段,欢迎通过 PR 补充。
jaswanthsanjay88 在 Hugging Face 发布 Qwen2.5-1.5B-Abliterated,一个基于 Qwen2.5-1.5B-Instruct 的教育演示模型,采用 Arditi et al. (2024) 的权重正交化(abliteration)方法。干预作用于第 16 层 residual write projections,校准数据采样自 AdvBench harmful 和 Alpaca cleaned 数据集,用于大学教学中展示对齐模型的行为防护如何映射到 transformer 残差流中的线性子空间。
Hugging Face 用户 robertbschuette 发布了 Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供从 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M(4.60 GB)作为体积与质量的最佳平衡。该版本移除内置安全检查与内容过滤,可直接生成 NSFW 等敏感图像。模型可在 ComfyUI 中配合 qwen3vl_8b 文本编码器与 VAE 使用,文本编码器可卸载至系统内存,节省 9–17 GB 显存。
基于 Llama-3-8B-Instruct 的无审查模型 Llama-3-8B-Lexi-Uncensored 上线 Hugging Face,遵循 Meta Llama 3 社区许可,允许包括商用在内的用途。该模型对各种请求高度合规,Open LLM Leaderboard 平均分 66.18,其中 HellaSwag 77.88、MMLU 67.68、GSM8k 68.39。作者提醒部署前需自行添加对齐层,并需对生成内容负责。
Hugging Face 上架了 NeuralNet-Hub 发布的 Qwen3.8-27B-Uncensored-NVFP4 模型仓库。该模型 README 为空,未提供任何说明;目前尚无下载量统计,也没有被任何 Inference Provider 部署提供推理服务。
dima6312 在 Hugging Face 上发布 ajgazin 的 Swift-1.5-Qwen3.8-27B Uncensored(UkisAI Swift 1.5 的 abliterated 版)的 MLX oQ4e 量化,体积 17.0 GB、4.9 bits per weight,仅做量化未改其他内容,并保留 MTP 头以支持 oMLX 中的自推测解码。在 M4 Pro 48GB 上实测:编码任务 21/24、工具调用 27/30、100 条提示词拒绝 11 次(原模型为 97 次),解码 39.8 tok/s,MTP 接受率 87.5%;模型沿用 Swift Open License v1.0,年收入超 100 万美元的组织商用需 UkisAI 的企业授权。
推荐理由:作者用统一的拒绝率测试对比了量化版与原模型,还保留了 MTP 头并给出解码速度,量化质量有实测数据可查。
haddockaihamburg 在 Hugging Face 发布了 LiquidAI/LFM2.5-2.6B 的 abliterated 去对齐版本,用 heretic 工具(方向性消融加 TPE 参数优化、Arbitrary-Rank Ablation 合并权重)全自动生成,无需手动调参,heretic 共跑20次 Optuna 试验并恢复 Pareto 前沿顶部。独立于 heretic 评分器的实测显示,25条有害提示中基座模型拒绝22次,该版本拒绝0次;作者提醒仅25条提示、单一随机种子,不能将拒绝率数字解读为无能力损失,也未跑完整基准。
推荐理由:原文给出了消融方法与独立实测的拒绝率对比,并坦承只有25个提示词、单种子运行,读者可据此自行评估其参考价值。