Reddit 用户提醒 Abliterated/Heretic 模型存在被忽视的供应链安全风险
Reddit 用户 /u/Nicolodeva 提出,下载第三方修改的消融(abliterated)权重存在供应链安全风险,且无法验证实际改动。其引用 ProjectDiscovery 的演示:廉价 LoRA 微调可植入隐藏触发器,使编码 Agent 执行恶意命令而模型表面表现正常。
新闻、仓库与研究,按时间排列。
Reddit 用户 /u/Nicolodeva 提出,下载第三方修改的消融(abliterated)权重存在供应链安全风险,且无法验证实际改动。其引用 ProjectDiscovery 的演示:廉价 LoRA 微调可植入隐藏触发器,使编码 Agent 执行恶意命令而模型表面表现正常。
一位 LocalLLaMA 用户询问能否用 abliterated/uncensored 本地模型对自家智能家居硬件进行 OTA 固件刷写(如 ESPHome 等开源项目),并指出云端模型拒绝提供帮助。作者曾用 cloudcutter 利用已知漏洞刷机,希望刷写没有已知漏洞的设备,这些设备支持 UART 刷写,并询问用本地模型完成此类安全任务是否现实。
Spark-X2.6-4B-Uncensored-GGUF 上架 Hugging Face,提供 Q4_K_M 量化版本,可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接在终端运行推理。该模型还支持通过 Ollama、Docker Model Runner、Lemonade 以及 Pi、Hermes、OpenClaw 等 Agent 工具加载使用。
dealinai 以 CRACK 方式对 GLM-5.3-Flash 做权重级去审查并发布 FP8 版本(320B 总参数、18B 激活、1M 上下文),直接在张量中移除拒绝行为,不用 SFT、DPO、LoRA 或模板技巧。HarmBench-320 上 reasoning-OFF 和 max 档 320/320 全通过、0 拒绝(low 档保留部分拒绝),MMLU 87.33% 高于基线 86.74%;H200 TP4 原生 FP8 解码 163 tok/s,开启 MTP 投机解码达 211 tok/s、接受率 75.9%。
同一新闻,精选展示《GLM-5.3-Flash UNCENSORED FP8 发布,权重级去对齐且 MMLU 反超基座》
AtomicChat 在 Hugging Face 发布 FLUX 3 Image Klein 文本编码器(Qwen3-VL-4B-Instruct)的去对齐 GGUF 版,将拒绝方向从权重中投影消除,英文有害请求拒绝率从 79% 降到 0%,俄语从 32% 降到 0%,MMLU 从 71.1% 到 71.2%。提供 BF16 至 Q4_K 共四档量化,可作为 stable-diffusion.cpp 的 --llm 直接使用;实测显示图像内容变化极小(LPIPS 0.066),并附与 webmp3 Sakura、pottokao Heretic 等同类去对齐编码器的 KLD、拒绝率和 MMLU 对比。方法遵循 Arditi et al. 2024 的单一拒绝方向研究,ComfyUI 暂不兼容该编码器。
推荐理由:原文给出了拒绝方向消融的完整方法和前后拒绝率数据,还与多个同类去对齐编码器做了量化对比。
AtomicChat 基于 BFL 的 FLUX 3 Image Klein 提示词扩展器(9B Qwen3.5 微调)投影移除拒绝方向,发布 llama.cpp 可用的 GGUF 权重及 3MB LoRA 版本。作为聊天模型,held-out 提示词上英文拒绝率从 63% 降至 0%,俄语从 29% 降至 1%,MMLU 从 74.15% 微降至 73.95%,工具调用与长文本检索不受影响;作为 upsampler 时在 35 条敏感请求中比原版多保留 2 条内容,但 Klein 图像模型本身不画这两类,出图无可见去审查效果。
同一新闻,精选展示《AtomicChat 发布 FLUX 3 Image Klein 提示词扩展器无拒绝 GGUF 版》
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术移除拒绝行为,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层(0 起始索引)做消融,其余层保持不变,并提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144。模型安全过滤大幅降低,建议用于研究测试环境。
HauhauCS 发布 Qwen3.8-27B 无审查 Aggressive 变体的 GGUF 量化版本,0/465 拒答,直接作答且几乎无前导语。该版本附带 HauhauCS FastMTP 32K 加速 sidecar,在 Q8_K_P 下相比禁用 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG,比标准内嵌 MTP 高 35.2% 和 21.1%。模型保留文本、推理、agentic、图像与视频能力,原生 262,144-token 上下文,可扩展至 1,000,000,兼容 llama.cpp 等标准 GGUF 运行时。
dealignai 发布 GLM-5.3-FP8 的全谱系去对齐权重版 v2,通过直接修改 bf16 residual-writer 张量降低拒绝行为,不依赖微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HB-320 上 GARBAGE 降为 0,非版权 240 项行为 TRUE_COMPLY 达 91.7%(off),MMLU 87.43% 较基线 +1.85pp;模型基于 zai-org/GLM-5.3(753B,glm_moe_dsa 架构,纯文本),可在 vLLM 上以原生 FP8 速度运行,附 8×H200 TP8 部署配置与 reasoning_effort 仅支持 low/high 等运行注意事项。
同一新闻,精选展示《dealignai 发布 GLM-5.3-UNCENSORED-FP8 无对齐权重版并修复推理循环问题》
基于 unsloth/Llama-3.2-3B-Instruct 的去审查微调模型推出 GGUF 量化版本,abliteration 后 KL 散度仅 0.0265,测试中 100 次拒绝仅 4 次,并保留多语言能力。提供 Q4_K_M(2.02GB)、Q5_K_M(2.32GB)、Q8_0(3.42GB)和 f16(6.43GB)四种量化,可在 LM Studio 或 Ollama 中加载使用。
R0U5 在 Hugging Face 发布基于 Qwen2.5-1.5B-Instruct 的 abliterated 版本,用 Lethe 方法从对比激活中计算拒绝方向并从残差写入权重矩阵(含嵌入矩阵)中正交化移除。模型转为 GGUF 后在 llama.cpp 实际服务环境验证,20 条 held-out 拒绝诱导提示的拒绝数从 17/20 降到 0/20,连贯性检查通过;并指出自评同源采样和把退化输出计为合规两种假完美陷阱。提供 Q8_0(1.65 GB)与 f16(3.09 GB)权重,经 YaRN 扩展至 65,536 token 上下文,作者明确说明消融只改变拒绝行为、不增加能力。
推荐理由:原文给出 Lethe 消融方法、llama.cpp 实测拒绝率从 17/20 降到 0/20,还说明了两个易被忽视的评测陷阱。
huihui-ai 基于 Aleph-Alpha/Kolibri-1-BF16 制作了 abliterated 无审查版本,全程用 llama.cpp 的 GGUF 完成,不依赖 Transformers。已用 llama.cpp 重新量化并上传 Q2、Q3、Q4、Q5、Q6、Q8 和 BF16 版本。原版 llama.cpp 暂不支持 kolibri1 架构,需应用仓库内提供的补丁并检出 commit 836d571 后编译。
dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出,这是去 refusals 版本的量化模型,基于 Qwen3.5-122B-A10B 架构(48 层、256 个路由专家每层取 top 8),附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配,可在单张 RTX 5090(32 GB)上运行,约需 70 GiB 主机内存和 76 GB 磁盘空间,速度仍待优化测定。
Hugging Face 用户发布 Qwen3.8-Flash-Next 越狱版(orcarouter/Qwen3.8-Flash-Next-Uncensored)的 UD-Q4_K_XL 风格量化,复刻官方 Unsloth 类型表,主干 5.03 BPW、总计 108.39 GiB,附带 MTP draft head(Q8_0)与视觉塔(BF16),原生上下文 262,144,Apache-2.0。在 AMD Strix Halo 上以 Gufo 与 Halogen 实测 decode 32~40 tok/s,MTP 推测解码正常;缺 MTP head 会静默关闭推测解码,吞吐掉 30%+。
pasangimhana 发布 gemma4-12b-it-abliterated,基于 google/gemma-4-12B-it 做权重编辑,将拒绝方向从残差写入中正交化移除,无训练无微调,bf16 单文件 23.9 GB,共修改 97 个张量。大基准(769 条有害提示)上有害拒绝率从 454 降到 6,comply 从 32% 升至 91%,良性提示退化输出率与基座相同(9/92);方法上在每层捕获 150 有害与 150 无害提示的残差求方向,采用以第 24、28 层为中心、sigma 6 的宽高斯带正交化,并强调嵌入编辑不可省略。使用时需将 <turn|>(token 106)设为停止符;模型无任何安全过滤,作者提醒不要无外部策略层直接公开部署,且未跑 MMLU、GSM8K 等能力基准。
推荐理由:原文给出消融方法、拒绝率前后对比和退化输出对照,读者可据此判断这次权重编辑去掉了多少拒绝行为、代价多大。
Reddit r/LocalLLaMA 用户求助:在单张 RTX 5090(32GB VRAM)上寻找当前最适合逆向工程、编程和红队测试的本地去审查/消除拒答模型。需求以低拒绝率为首要,同时要求较强的逻辑推理与代码生成能力,覆盖反汇编、exploit 开发、渗透测试和工具编写。
Reddit 用户为 Mimo 2.6 Pro 发布了一款角色扮演预设,含三档配置:Main + Reminder 约 675 tokens、加 Bans & Styles 约 1,265 tokens、再加 Tracker 约 1,395 tokens,整套低于 1500 tokens,无需越狱。作者称该预设也适用于 GLM,并建议按中美高峰时段切换 Xiaomi 或 DeepInfra 作为云端服务提供方。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated-W4A16-GPTQ,这是一个 abliterated 的 4B 多模态 GPTQ 量化模型,支持 image-text-to-text 任务。页面给出 Transformers、vLLM、SGLang、Docker Model Runner 等多种部署方式,均可通过 OpenAI 兼容 API 调用。
MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本,可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行,并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。
KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit,约 20 GB。仓库装回 Accio-Lab 原版的 vision tower,并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头;该头在 Occamy 上草稿接受率达 65.6%(每周期 2.13 个 token),高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动,42 个对照张量中 40 个与未去对齐基座逐位一致,其余两个正是消融所改的矩阵。
推荐理由:作者给出了逐张量校验和同机对照的 TMMLU+ 分数,可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。
R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。
dealignai 在 Hugging Face 发布 Nanbeige4.3-33B 的 UNCensored GGUF 版本,移除基础模型的拒绝行为,提供 Q6_K(25.3 GB)、Q4_K_M(18.7 GB)、IQ2_XXS(8.7 GB)三种量化,均附带基于 1M token 校准内容的 imatrix,保留原生 think on/off 与 512K 上下文。与同量化基础版对比,MMLU chat 下降 Q6_K −1.74pp、Q4_K_M −1.09pp、IQ2_XXS −4.53pp;6 提示多轮合规测试三个量化均为 6/6 通过、0 次拒绝。
推荐理由:原文给出三种量化的 MMLU 前后对照和多轮拒绝率实测,读者可据此评估去掉拒绝行为的能力代价。
GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手,基于 Ollama 运行 HAYAT-35B-A3B(Qwen3.6-35B-A3B,约 3B 激活参数)模型,无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆,外发操作需用户批准,另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。
FRENCHFAKER 发布首个 abliterated 版 Nanbeige4.3-33B GGUF,用 refusal-direction ablation 移除原始模型对进攻性安全请求的拒绝行为。50 条有害提示词基准上拒绝率从 80%(40/50)降至 8%(4/50),安全/渗透测试类提示词拒绝率约 0%,推理与工具调用保持完整;IQ4_XS 量化约 17 GB,可在单张 24 GB GPU 上以约 33 tok/s 运行,基于 Apache-2.0 许可。
推荐理由:原文给出拒绝率前后对照和逐层消融方法,读者可据此评估这个去对齐版本的可靠程度。
huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 制作 abliterated 去审查版本,在不使用 TransformerLens 的情况下移除模型拒绝行为,属于概念验证实现。该模型安全过滤大幅减弱,可能生成敏感或不当内容,官方建议仅用于研究、测试或受控环境,避免直接投入生产或面向公众的商业应用。
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。
推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。
HauhauCS 发布 Qwen3.5-4B 的去审查版 Uncensored-HauhauCS-Aggressive,移除全部 465 个拒绝样本,实现完全无审查且能力无损,模型不会拒绝提示词。其提供 BF16 到 Q4_K_M 等多种 GGUF 量化(7.9 GB 至 2.6 GB),原生支持文本、图像、视频多模态,262K 上下文(可用 YaRN 扩展到 1M),可在 llama.cpp、LM Studio、Jan 等运行时加载。
HAYAT 35B-A3B Uncensored (GGUF) 上架 Hugging Face,是 Windows 本地优先 AI 助手 HAYAT 的主模型,权重与 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 完全一致,基于 Qwen3.6-35B-A3B,HAYAT 仅添加含系统指令与采样设置的 Modelfile。
Sagarkun 发布 Qwen-Image-2.1 Uncensored 的多格式量化版本,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 仅 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及敏感图像;文本编码器可卸载至系统内存以节省 9–17 GB VRAM,需搭配 ComfyUI 与 ComfyUI-GGUF 使用,采用 Qwen Research License。
sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。
huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本,完全用 llama.cpp 的 GGUF 完成 abliteration,未依赖 Transformers。仅 abliterate 第 11 至 28 层(0 起始索引)的 18 个 attn_output_b 张量,专家系统未改动;UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低,建议用于研究或受控环境,支持 262144 上下文长度。
mradermacher 在 Hugging Face 上发布 Minecraftism-4B-Thinking-Uncensored 的 GGUF static quants 量化模型。该模型未被任何 Inference Provider 部署,下载量暂未被追踪。
l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成,Q4_K_M(4.60 GB)为推荐的 GGUF 量化方案。该版本不含内置安全检查器,可直接生成成人、NSFW 及敏感图像,支持 ComfyUI 与 ComfyUI-GGUF,文本编码器卸载到系统内存可节省 9–17 GB 显存。
Hugging Face 用户 mradermacher 上传了 Minecraftism-4B-Uncensored 模型的 GGUF static quants 量化版本。该模型暂无下载量统计,也未被任何 Inference Provider 部署,用户可申请提供推理支持。
lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。
推荐理由:原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。
huihui-ai 发布基于 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如第 22 至 52 层,0 起始索引),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化,其中需消融的权重已转为 Q8_0 或 BF16 以提升回复质量,支持 262144 上下文长度,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。模型安全过滤大幅降低,建议用于研究测试而非生产环境。
Krissaito470 发布 Huihui 的 Qwen3.8-Flash-Next abliterated v2(去审查版)的 DS4 GGUF,采用 Mixed-Q3-64GB 布局,文件 143.3 GiB,常驻权重 47.96 GiB,可在 64 GB Mac 运行。v2 未消融任何专家张量,仅以 96 个 Q8_0 张量覆盖基础文件;8K 上下文下解码 68.9 tok/s,MTP 开启时代码生成达 102.8 tok/s。内存占用约 49-54 GiB(8K-131K ctx),需支持 BF16 n-gram 的 DwarfStar 构建。
作者发布了一个 Strata 运行时去拒绝方案包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重(逐字节复制并校验 SHA256),外加一个 480 KB 的拒绝方向向量文件,来自 Huihui 对 144 个残差写入张量的秩一编辑,在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。
推荐理由:作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果,数据可直接用于判断这种方案对输出的改动幅度。
dealignai 在 Hugging Face 发布 GLM-5.3-FP8 的全谱系无对齐版本,通过直接修改 bf16 residual-writer 张量实现权重级去审查,不使用微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HarmBench-320 上 GARBAGE 从 7 降至 0,非版权 240 项行为 TRUE_COMPLY 达 91.7%(off),MMLU 87.43% 较基线 +1.85pp。附 vLLM TP8 部署配置,注意 reasoning_effort 仅支持 low/high,high/max 需 max_tokens ≥ 8000。
推荐理由:原文给出权重级去对齐的具体做法和 HarmBench-320、MMLU 前后对比数据,读者可据此评估该版本的去对齐程度与能力损失。
R0U5 用 Lethe 正交化消融方法放出 Qwen/Qwen3.5-9B 的永久无对齐版本权重,拒绝率从 3.1% 降到 0.0%,KL 散度 0.009。方法对所有 32 层共 64 个残差写入投影做消融,bf16 权重约 18 GB,Apache-2.0 协议,并附 GGUF 转换与量化命令,q8_0 约 9 GB、q4_k_m 约 5.5 GB。
推荐理由:原文给出拒绝率前后对比、KL 散度和 64 个矩阵的消融范围,去对齐程度与能力损失都有数据可查。