TechPrototyper 发布 Gemma4-31B 6-bit 量化版的原格式去对齐权重
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
新闻、仓库与研究,按时间排列。
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
Hugging Face 上发布 huihui-ai abliterated 版 Ternary-Bonsai 的 NInfer 格式重打包,将去安全化的 Qwen3.8-27B 权重封装为单文件 .ninfer 容器,供 NInfer 引擎读取 t2_g128_fp16 三元表示。
drowzeys 在 Hugging Face 发布基于 zai-org/GLM-5.3 的 abliterated 量化版本 keys-GLM-5.3-EXL3-2.75BPW-Abliterated。
推荐理由:原文给出 Blackfrost 消融张量的重编码位置与 32 项拒绝率实测数据,可据此判断这个 abliterated 版本改动范围和去对齐程度。
hmkle 在 Hugging Face 发布 Qwen3.5-4B Abliterated 的静态 GGUF 量化版本,提供从 Q2_K 到 Q8_0 及 f16 的多种规格,大小从 1.9GB 到 8.5GB 不等。其中 Q4_K_S 和 Q4_K_M 标注为快速推荐选项,Q8_0 质量最佳,并附带 mmproj 多模态补充文件;weighted/imatrix 量化可另行获取。
SC117(0xSojalSec)在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF,通过对已量化模型直接移植张量来移除拒绝方向:48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重,其余 1079 个张量逐字节不变。
推荐理由:原文给出逐张量 blake2b 校验和体积、速度代价核算,展示了在已量化模型上做消融移植而不重算张量的完整流程。
作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny(8B总参/约1B激活MoE)abliterated版本,提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测,拒绝率从思考关闭43/44、开启44/44降至11/44、12/44;思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型,不增加任何知识,且思考与非思考路径的拒绝均被去除;方向性消融共修改1692个张量,集中在第8至23层。
推荐理由:作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据,读者可以自己判断这个去对齐版本的实际效果。
StillDeadcode 发布 Qwen3.8-27B Uncensored FP8 模型,移除原模型的安全对齐(abliterated refusal direction),打包为单个 .rad 容器供 radiance 推理引擎使用,文件大小 29.43 GiB。该模型合并了 z-lab/Qwen3.8-27B-DFlash2 块扩散 drafter 用于投机解码,草稿经验证后不改变输出;附带 27 块 bf16 视觉塔,支持图像和视频输入。上下文训练长度 262,144 tokens、实测 200K,在 2× Radeon AI PRO R9700 上构建测试,服务器兼容 OpenAI API。
fyb1214 将 huihui-ai 的 abliterated Ternary-Bonsai-2-27B(消融第 22–52 层)重新封装为 NInfer 引擎可读的单文件 .ninfer 容器,基于 f16 版本用量化器重制 PQ2_0 与 PTQ1_0 两种打包,各 6.87 GiB,类型分布与 PrismML 原版 PQ2_0 一致。
ericmey 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 GPTQ-Int4(sym, G128)量化版,附带 BF16 MTP 草稿张量与 F16 视觉塔,约 19 GB,面向 vLLM Intel Arc XPU 部署,也可加载于 CUDA。
johnonegram 在 Hugging Face 发布 Offender_3.8_27B_Abliterated,基于 medismera/Qwen3.8-27B-Surgical-Abliterated 持续微调的 27B 多模态安全推理模型,总参数 26.89B,原生上下文 262,144 tokens(256K),采用 FP8 量化,磁盘占用约 26.9 GB。
vaultai 发布 Qwen3.8-27B-Uncensored-MLX,通过 abliteration(对拒绝方向做正交化)移除安全对齐,并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997,视觉和 262K 上下文保留;2-bit 生成严重退化仅供存档。仓库已门控,附 mlx-vlm、LM Studio 和 MTP 投机解码用法。
推荐理由:发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测,读者可以据此评估每个档位是否可用。
Hugging Face 用户 LMLiutenant 用 llama.cpp 制作了 abliterated(抑制拒答)版模型 wangzhang/Qwen3.6-35B-A3B-abliterated-v2 的 GGUF 量化,属非官方再分发。该模型为 MoE 架构,总参数 35B、每 token 激活约 3B(256 个专家激活 8 个),上下文长度 262144 tokens。仓库提供 IQ2_XS 到 Q8_0 共 24 种量化,并附 F16 多模态 projector,各量化均基于同一 importance matrix 计算,BF16 源模型 wikitext-2 PPL 为 6.4743。
musiccat0405 在 Hugging Face 发布 gemma-3-1b-it-heretic-extreme-uncensored-abliterated,用 Heretic v1.0.1 消融,拒绝率 3/100,KL 散度 0.33,原版 Gemma 1B-IT 拒绝率为 99/100。作者注明本次以更低拒绝率为优先目标,并给出 KL 散度更低(0.09)但拒绝率 17/100 的替代版本链接;还说明该模型不拒绝请求但部分情况需额外指令引导,并附 KoboldCpp、text-generation-webui、SillyTavern 的 smoothing_factor 等采样参数建议。
推荐理由:原文给出了 Heretic 消融前后的拒绝率与 KL 散度数据,读者可以具体对比这个去对齐版本去掉了多少、损伤多大。
SlickPulla 在 trohrbaugh/Qwen3.8-27B-heretic-ara 基础上再做两遍 ARA 消融,发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,有害提示拒绝率从 3/100 降到 0–1/100,KL 损伤从 0.0535 降到 0.0085。全部 53 个 RVN 文件内嵌官方 Qwen3.8 chat template,每个量化都附带嵌入 MTP 草稿头的孪生文件,128 token 实测平均提速约 55%,仅 IQ1_M 反而慢约 60%,IQ1_S 只提升约 4%,文档还按 8 GB 到 64 GB 显存给出了推荐文件。
vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版(oQ4e,173 GiB,35 个分片),基于 Blackfrost-Research 的去对齐 BF16 权重,面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成,Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%(4/300),本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证,M3 Ultra(256 GB)实测短上下文 DFlash2 解码最高 51.2 tok/s,附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。
推荐理由:模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据,读者可以对照判断量化后的行为和性能。
mradermacher 在 Hugging Face 发布了 Abliterated-Dolphin3.0-R1-Mistral-24B 的 imatrix GGUF 量化版本,提供从 i1-IQ1_S(5.4GB)到 Q6_K(19.4GB)的多种量化档位。其中 Q4_K_S(13.6GB)被称为尺寸、速度与质量的最优平衡,Q4_K_M(14.4GB)为推荐选项,并单独提供 0.1GB 的 imatrix 文件供用户自行创建量化。
Hugging Face 上架 abliterated 版 GGUF 模型 jingamin/Qwen3.8-27B-ABLITERATED-BF16.i1-Q5_K_M.gguf(Q5_K_M 量化)。
Hugging Face 上发布 Huihui-Qwen3.8-27B-abliterated-AWQ-MTP,这是用 abliteration 技术对 Qwen/Qwen3.8-27B 去除拒绝行为后的无审查版本。模型支持 AWQ Marlin kernel 和 MTP 投机解码,在单张 A800 80GB 上(vLLM 0.21.0、MTP 开启、fp8 KV cache)达到 110+ tok/s,支持 65536 上下文长度。发布方警告安全过滤大幅减弱,仅建议用于研究和受控环境。
Hugging Face 上线 mradermacher/Qwen3.8-cyber-RedTeam-Surgical-Abliterated-GGUF 量化模型页面,提供 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种运行方式。
yuna1126 在 Hugging Face 发布基于 google/gemma-4-E2B-it 的 abliterated 去对齐版本,使用 Tema_Q-Abliterated v1.0.0(SCAPE 算法)从权重中消融拒绝方向。
推荐理由:原文给出了拒绝率、KL 散度和 SCAPE 代理目标约 49 倍加速的实测数据,读者可以据此评估这个去对齐版本的代价与工具的可复用性。
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本。
BoldingBuilds 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-ThinkFix-GGUF,在移除拒绝行为之外增加一处权重行编辑,使模型完成思考后更快给出答案。
推荐理由:原文给出多种敏感提示词与代理任务的实测对照数据,可据此评估这个去对齐加推理修复版本的实际取舍。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 量化包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GGUF(逐字节复制并校验 SHA256),另附一个 480 KB 的拒绝方向向量文件,可在 Strata 引擎中运行时投影去除拒绝行为,权重保持原样。
推荐理由:原文保留原始量化权重并给出拒绝率、KL 散度和解码速度的实测数据,读者可据此评估运行时去拒绝向量对输出的实际影响。
mradermacher 在 Hugging Face 发布 Qwen3-4B-F32-BF16-3MPER0RR-abliterated 的 imatrix 加权 i1-GGUF 量化系列,共 20 余个版本,大小从 1.2GB(i1-IQ1_S)到 3.4GB(i1-Q6_K)不等,并提供 0.1GB 的 imatrix 文件供用户自行创建量化。
TechPrototyper 发布了基于 rdtand 的 GridBook 13GB 量化版 Qwen3.8-27B 的 abliterated 变体,通过将 BF16 消融供体权重移植进已有量化 checkpoint 并按原量化网格重编码,不重新量化,仅改动 1363 个张量中的 113 个。
推荐理由:原文给出在量化格式内做消融的完整方法与拒绝率、工具调用前后对比,读者可据此判断这种不重新量化的去对齐做法是否可靠。
mradermacher 在 Hugging Face 发布 Qwen3-4B-F32-BF16-3MPER0RR-abliterated 的静态 GGUF 量化版本,提供从 Q2_K(1.8GB)到 f16(8.2GB)的多档量化文件,其中 Q4_K_S、Q4_K_M 被标注为快速推荐档位,Q8_0 为最高质量档位,weighted/imatrix 量化另有单独发布。
calclout 在 Hugging Face 上传了 Qwen3.8-Flash-Next-Abliterated 的 AWQ W4A16 量化模型,模型规模为 72B 参数,采用 Safetensors 格式,张量类型包含 I32、BF16 和 I64。该模型暂无模型卡,上月下载量为 11,且尚未被任何 Inference Provider 部署。
mradermacher 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-Q2_K(80.5GB)到 i1-Q6_K(167.7GB)的多档量化文件,其中 i1-Q4_K_M 为推荐档位,i1-Q4_K_S 兼顾体积、速度与质量。
SC117 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过对已量化 GGUF 做 144 个残差流投影张量的字节级移植实现去拒绝,不重算任何 GSQ 学到的量化值。IQ3_S 版经逐张量 blake2b 校验,1223 个张量中 1079 个与上游逐字节一致,decode 速度仅降 0.1%,四个量化档位体积仅比上游多 0.25 至 0.44 GB,行为抽查显示上游拒答的绕过付费墙请求该版本会详细回答。作者提示模型无内置安全护栏,需自行部署审核与访问控制。
推荐理由:作者用逐张量 blake2b 校验和性能对照说明直接移植已量化张量做消融的代价,方法可复用到其他 GGUF 模型。