Huihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版发布
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF,仅对 22 至 52 层(0 起始索引)做消融,其余层保持原样。
新闻、仓库与研究,按时间排列。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF,仅对 22 至 52 层(0 起始索引)做消融,其余层保持原样。
orcarouter 在 Hugging Face 放出 Qwen3.8-Flash-Next 的去对齐(abliterated)GGUF 量化版本,覆盖 2-bit 到 8-bit,供 llama.cpp 运行。
推荐理由:原文给出消融后拒绝率从64-100%降到约0-3.3%、能力与基线差±2分以内的实测数据,并说明各量化的取舍。
Hugging Face 用户发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 4.05 bpw EXL3 量化版本,基于修正后的 BF16 源权重以 strength1.0 消融后量化,包含 MTP、视觉和 n-gram 表。
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。
推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。
发布 Swift-Qwen3.8-27B 的 abliterated 无对齐版本,采用 orcarouter/Qwen3.8-27B-Uncensored 的单方向拒绝消融方法,从权重差异中恢复拒绝方向后投影到 Swift 的 131 个张量。
推荐理由:原文给出拒绝率与 KL 散度的前后对照数据,以及恢复拒绝方向并投影到 Swift 权重的完整方法,可复现性较强。
Hugging Face 用户发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 3.05 bpw EXL3 量化版本,基于修正后的 BF16 源权重以 strength1.0 消融后重建,包含 MTP、视觉和 n-gram 表,无需运行时消融 hook。
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 GGUF 量化版本。
Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 5.05 bpw EXL3 量化版本,基于修正后的 BF16 源权重以 strength1.0 消融后量化,包含 MTP、视觉和 n-gram 表,无需运行时消融 hook。
minas2025 基于 Gemma 4 E2B 的 Heretic-abliterated 版本发布对话向微调模型,经 1,000 步 QLoRA 训练并量化为 GGUF,Q8_0 文件约 5.1 GB,可在 llama.cpp、LM Studio、KoboldCpp 等本地运行。
Pwdz-2 Abliterated 基于 GLM-5.3-Flash 架构的 320B 级稀疏 MoE 模型,通过权重空间消融移除拒绝行为,保留完整推理与指令遵循能力。
huihui-ai 基于 Qwen/Qwen3.8-27B 用 abliteration 技术制作去审查版 GGUF 模型,仅对部分层(如 22 至 52 层)做消融,MTP 与视觉部分未改动。
huihui-ai 基于 Qwen/Qwen3.5-27B 通过 abliteration 技术去除拒绝回复,发布无审查版本 Huihui-Qwen3.5-27B-abliterated,属于概念验证实现,不依赖 TransformerLens。
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本,量化为 EXL3 2.9bpw,约 197 GiB,可在两台 DGX Spark (GB10) 上以 TP=2 部署。
推荐理由:原文给出 HarmBench 拒绝率与 MMLU 全量对比,量化了能力损失集中在伦理子集,读者可自行评估取舍。
SC117 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过字节级张量移植移除拒绝方向。
同一新闻,精选展示《Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 发布:144 个张量移植保留上游量化布局》
xannie1 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,在 trohrbaugh 的 heretic-ara 基础上追加两轮全权重 ARA 消融,有害提示拒绝率从 3/100 降至 0-1/100,KL 损伤从 0.0535 降到 0.0085。
推荐理由:原文给出两轮 ARA 消融后的拒绝率与 KL 前后对比数据,并附各量化的 PPL 和 MTP 实测速度,便于按硬件选文件。
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
Hugging Face 上发布 huihui-ai abliterated 版 Ternary-Bonsai 的 NInfer 格式重打包,将去安全化的 Qwen3.8-27B 权重封装为单文件 .ninfer 容器,供 NInfer 引擎读取 t2_g128_fp16 三元表示。
drowzeys 在 Hugging Face 发布基于 zai-org/GLM-5.3 的 abliterated 量化版本 keys-GLM-5.3-EXL3-2.75BPW-Abliterated。
推荐理由:原文给出 Blackfrost 消融张量的重编码位置与 32 项拒绝率实测数据,可据此判断这个 abliterated 版本改动范围和去对齐程度。
hmkle 在 Hugging Face 发布 Qwen3.5-4B Abliterated 的静态 GGUF 量化版本,提供从 Q2_K 到 Q8_0 及 f16 的多种规格,大小从 1.9GB 到 8.5GB 不等。其中 Q4_K_S 和 Q4_K_M 标注为快速推荐选项,Q8_0 质量最佳,并附带 mmproj 多模态补充文件;weighted/imatrix 量化可另行获取。
SC117(0xSojalSec)在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF,通过对已量化模型直接移植张量来移除拒绝方向:48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重,其余 1079 个张量逐字节不变。
推荐理由:原文给出逐张量 blake2b 校验和体积、速度代价核算,展示了在已量化模型上做消融移植而不重算张量的完整流程。
作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny(8B总参/约1B激活MoE)abliterated版本,提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测,拒绝率从思考关闭43/44、开启44/44降至11/44、12/44;思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型,不增加任何知识,且思考与非思考路径的拒绝均被去除;方向性消融共修改1692个张量,集中在第8至23层。
推荐理由:作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据,读者可以自己判断这个去对齐版本的实际效果。
StillDeadcode 发布 Qwen3.8-27B Uncensored FP8 模型,移除原模型的安全对齐(abliterated refusal direction),打包为单个 .rad 容器供 radiance 推理引擎使用,文件大小 29.43 GiB。该模型合并了 z-lab/Qwen3.8-27B-DFlash2 块扩散 drafter 用于投机解码,草稿经验证后不改变输出;附带 27 块 bf16 视觉塔,支持图像和视频输入。上下文训练长度 262,144 tokens、实测 200K,在 2× Radeon AI PRO R9700 上构建测试,服务器兼容 OpenAI API。
fyb1214 将 huihui-ai 的 abliterated Ternary-Bonsai-2-27B(消融第 22–52 层)重新封装为 NInfer 引擎可读的单文件 .ninfer 容器,基于 f16 版本用量化器重制 PQ2_0 与 PTQ1_0 两种打包,各 6.87 GiB,类型分布与 PrismML 原版 PQ2_0 一致。
ericmey 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 GPTQ-Int4(sym, G128)量化版,附带 BF16 MTP 草稿张量与 F16 视觉塔,约 19 GB,面向 vLLM Intel Arc XPU 部署,也可加载于 CUDA。
johnonegram 在 Hugging Face 发布 Offender_3.8_27B_Abliterated,基于 medismera/Qwen3.8-27B-Surgical-Abliterated 持续微调的 27B 多模态安全推理模型,总参数 26.89B,原生上下文 262,144 tokens(256K),采用 FP8 量化,磁盘占用约 26.9 GB。
vaultai 发布 Qwen3.8-27B-Uncensored-MLX,通过 abliteration(对拒绝方向做正交化)移除安全对齐,并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997,视觉和 262K 上下文保留;2-bit 生成严重退化仅供存档。仓库已门控,附 mlx-vlm、LM Studio 和 MTP 投机解码用法。
推荐理由:发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测,读者可以据此评估每个档位是否可用。
Hugging Face 用户 LMLiutenant 用 llama.cpp 制作了 abliterated(抑制拒答)版模型 wangzhang/Qwen3.6-35B-A3B-abliterated-v2 的 GGUF 量化,属非官方再分发。该模型为 MoE 架构,总参数 35B、每 token 激活约 3B(256 个专家激活 8 个),上下文长度 262144 tokens。仓库提供 IQ2_XS 到 Q8_0 共 24 种量化,并附 F16 多模态 projector,各量化均基于同一 importance matrix 计算,BF16 源模型 wikitext-2 PPL 为 6.4743。
musiccat0405 在 Hugging Face 发布 gemma-3-1b-it-heretic-extreme-uncensored-abliterated,用 Heretic v1.0.1 消融,拒绝率 3/100,KL 散度 0.33,原版 Gemma 1B-IT 拒绝率为 99/100。作者注明本次以更低拒绝率为优先目标,并给出 KL 散度更低(0.09)但拒绝率 17/100 的替代版本链接;还说明该模型不拒绝请求但部分情况需额外指令引导,并附 KoboldCpp、text-generation-webui、SillyTavern 的 smoothing_factor 等采样参数建议。
推荐理由:原文给出了 Heretic 消融前后的拒绝率与 KL 散度数据,读者可以具体对比这个去对齐版本去掉了多少、损伤多大。
SlickPulla 在 trohrbaugh/Qwen3.8-27B-heretic-ara 基础上再做两遍 ARA 消融,发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,有害提示拒绝率从 3/100 降到 0–1/100,KL 损伤从 0.0535 降到 0.0085。全部 53 个 RVN 文件内嵌官方 Qwen3.8 chat template,每个量化都附带嵌入 MTP 草稿头的孪生文件,128 token 实测平均提速约 55%,仅 IQ1_M 反而慢约 60%,IQ1_S 只提升约 4%,文档还按 8 GB 到 64 GB 显存给出了推荐文件。
vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版(oQ4e,173 GiB,35 个分片),基于 Blackfrost-Research 的去对齐 BF16 权重,面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成,Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%(4/300),本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证,M3 Ultra(256 GB)实测短上下文 DFlash2 解码最高 51.2 tok/s,附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。
推荐理由:模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据,读者可以对照判断量化后的行为和性能。
mradermacher 在 Hugging Face 发布了 Abliterated-Dolphin3.0-R1-Mistral-24B 的 imatrix GGUF 量化版本,提供从 i1-IQ1_S(5.4GB)到 Q6_K(19.4GB)的多种量化档位。其中 Q4_K_S(13.6GB)被称为尺寸、速度与质量的最优平衡,Q4_K_M(14.4GB)为推荐选项,并单独提供 0.1GB 的 imatrix 文件供用户自行创建量化。
Hugging Face 上架 abliterated 版 GGUF 模型 jingamin/Qwen3.8-27B-ABLITERATED-BF16.i1-Q5_K_M.gguf(Q5_K_M 量化)。
Hugging Face 上发布 Huihui-Qwen3.8-27B-abliterated-AWQ-MTP,这是用 abliteration 技术对 Qwen/Qwen3.8-27B 去除拒绝行为后的无审查版本。模型支持 AWQ Marlin kernel 和 MTP 投机解码,在单张 A800 80GB 上(vLLM 0.21.0、MTP 开启、fp8 KV cache)达到 110+ tok/s,支持 65536 上下文长度。发布方警告安全过滤大幅减弱,仅建议用于研究和受控环境。
Hugging Face 上线 mradermacher/Qwen3.8-cyber-RedTeam-Surgical-Abliterated-GGUF 量化模型页面,提供 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种运行方式。
yuna1126 在 Hugging Face 发布基于 google/gemma-4-E2B-it 的 abliterated 去对齐版本,使用 Tema_Q-Abliterated v1.0.0(SCAPE 算法)从权重中消融拒绝方向。
推荐理由:原文给出了拒绝率、KL 散度和 SCAPE 代理目标约 49 倍加速的实测数据,读者可以据此评估这个去对齐版本的代价与工具的可复用性。
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本。
BoldingBuilds 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-ThinkFix-GGUF,在移除拒绝行为之外增加一处权重行编辑,使模型完成思考后更快给出答案。
推荐理由:原文给出多种敏感提示词与代理任务的实测对照数据,可据此评估这个去对齐加推理修复版本的实际取舍。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 量化包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GGUF(逐字节复制并校验 SHA256),另附一个 480 KB 的拒绝方向向量文件,可在 Strata 引擎中运行时投影去除拒绝行为,权重保持原样。
推荐理由:原文保留原始量化权重并给出拒绝率、KL 散度和解码速度的实测数据,读者可据此评估运行时去拒绝向量对输出的实际影响。
mradermacher 在 Hugging Face 发布 Qwen3-4B-F32-BF16-3MPER0RR-abliterated 的 imatrix 加权 i1-GGUF 量化系列,共 20 余个版本,大小从 1.2GB(i1-IQ1_S)到 3.4GB(i1-Q6_K)不等,并提供 0.1GB 的 imatrix 文件供用户自行创建量化。
TechPrototyper 发布了基于 rdtand 的 GridBook 13GB 量化版 Qwen3.8-27B 的 abliterated 变体,通过将 BF16 消融供体权重移植进已有量化 checkpoint 并按原量化网格重编码,不重新量化,仅改动 1363 个张量中的 113 个。
推荐理由:原文给出在量化格式内做消融的完整方法与拒绝率、工具调用前后对比,读者可据此判断这种不重新量化的去对齐做法是否可靠。