mradermacher 发布 LFM2.5-24B-A2B-Uncensored-Heretic 的 GGUF 量化版本
Hugging Face 上线 mradermacher 制作的 LFM2.5-24B-A2B-Uncensored-Heretic 静态量化 GGUF 模型仓库。该模型目前未被任何 Inference Provider 部署,下载量未被追踪,用户可申请提供推理支持。
新闻、仓库与研究,按时间排列。
Hugging Face 上线 mradermacher 制作的 LFM2.5-24B-A2B-Uncensored-Heretic 静态量化 GGUF 模型仓库。该模型目前未被任何 Inference Provider 部署,下载量未被追踪,用户可申请提供推理支持。
mradermacher 在 Hugging Face 上提供 Irwan-LightOnOCR-3-0.8B-abliterated 的 GGUF 量化版本,支持 Q4_K_M 等量化格式。该模型为 image-text-to-text 类型,可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种方式加载或启动 OpenAI 兼容 API 服务。
irwanworld 在 Hugging Face 发布 Irwan-LightOnOCR-3-0.8B-abliterated,基于 lightonai/LightOnOCR-3-0.8B(Qwen3.5-VL 0.8B 架构的 OCR 微调模型),通过从 huihui-ai/Huihui-Qwen3.5-0.8B-abliterated 提取权重差值(alpha=1.0、bfloat16)做 abliteration transfer,去除面对显式内容时的拒绝倾向,同时保留 OCR 能力。用法与原模型一致,无 API 变更;CPU 推理仅约 0.3 token/秒,生产环境建议用 GPU,OCR 质量尚未正式评测。
dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B 激活)发布权重级 abliterated 无对齐版本,以原生 FP8 权重提供,支持 1M token 上下文、视觉与工具调用。HarmBench-320 实测显示 CRACK 版在 effort=off 和 max 下均 100% 通过,而基座模型分别为 42.81% 和 1.56%;MMLU-14k 整体下降 4.22 pp,剔除伦理类科目后约 -1.1 pp。模型卡还给出 SGLang 部署配置、KV 内存占用估算(890 B/token)、4×H200 上的吞吐数据(单流 101 tok/s,DSpark 后 113 tok/s)及多项启动注意事项。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
tatekuperus 在 Hugging Face 发布基于 Qwen/Qwen3.6-27B 的多阶段微调与合并模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic GGUF 量化版,作者称其为首个在 8bit 和 4bit 下 ARC-C 超过 700 的该规模微调。去审查由 trohrbaugh 用 Heretic v1.2.0+custom 的 Arbitrary-Rank Ablation 方法完成,拒绝率从原版 99/100 降至 4/100,KL 散度 0.0469;作者给出的基准显示该模型在 7 项基准中 6 项超过 Qwen3.6-27B 基座。
推荐理由:作者给出 Heretic 消融方法与去审查前后拒绝率对比,并附多组基准和第三方实测数据,可核对去对齐是否损伤模型能力。
Reddit 用户在 12GB VRAM + 32GB RAM + NVME 上以 IQ3_S 量化跑通 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated,在 131k 上下文(44k thinking budget)下达到 40-50 tok/sec 解码和 1300-1500 tok/sec prefill。所用 Strata 自定义 fork 含大量实验性架构改动,作者称部分体验接近本地版 Opus。
distributedcognition 在 Hugging Face 发布 jialinyyzz/humanizer(gemma-4 12B 微调的 AI 文风改写模型)的 abliterated 变体,用投影式 writer 级消融在 32 层移除拒绝方向,alpha 0.8。实测基座模型在 104 个有害改写提示上拒绝率仅 2/104,消融后拒绝率不变,MMLU-2280 仅降 0.04pp,GSM8K 持平;refusal_directions.pt 支持任意强度秒级重新消融,附 GGUF 量化可在 llama.cpp、Ollama 等运行,Apache 2.0。
推荐理由:原文给出完整的消融方法、拒绝率与 MMLU 前后对比,并诚实指出基座模型本就几乎不拒绝,读者可据此判断去对齐的实际意义。
有 Reddit 用户反映 Gemini 4 Argon 发布后质量下降,认为它现在审查更严格、回复质量变弱,第一天发布时表现更好。发帖者询问该模型是否已不适合编码和角色扮演,并怀疑问题可能出在预设(preset)上。
distributedcognition 在 Hugging Face 发布 thinkingmachines/Inkling(975B 总参数/41B 激活,多模态 MoE)的 abliterated 版本,用 norm-preserving biprojected 消融在权重层面移除拒绝方向,提供 main(scale 2.5)和 scale-3.0 两个分支。
推荐理由:原文给出完整的消融方法、拒绝率与 KL 前后对比数据,读者可以据此判断这个 975B 模型去对齐后付出的能力代价。
一位 Reddit SillyTavern 用户发帖求助如何让 GLM 5.3 在角色扮演中输出更激烈的剧情。他评价 GLM 5.3 稳定、快速且聪明,在 nanogpt 上比 Kimi 或 DeepSeek 更好用,但 5.3 倾向把内容“净化”成生活流或爱情剧情,做动作类角色扮演时表现很差。
edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。
推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。
TTPPCC121 等多人协作发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。模型用 Heretic v1.2.0+ARA 方法去对齐,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535;思考 token 减至原版的 1/2 到 1/10。提供常规与 MTP 两种 GGUF,Q4_K_S 下常规约 75 t/s、MTP 可超 90 t/s(5090、LMStudio 实测),支持 256k 上下文与视觉(需另下 mmproj 文件)。
同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》
Hugging Face 上架模型仓库 yinpeach/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4-NINFER,其 README.md 目前为空。该模型未被任何 Inference Provider 部署,下载量也未纳入统计,用户可申请提供推理支持。
AtomicChat 将 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的拒绝行为从权重中投影移除,发布 Atomic Dynamic GGUF 量化版本。在留出的 JailbreakBench 提示上拒绝率从 97.5% 降到 0%,俄语红队提示从 70% 降到 0%,开启思考时 30 条全部不再拒绝;MMLU 从 81.35% 到 81.75%(McNemar p=0.29),工具调用和 30k 长上下文检索不受影响。
推荐理由:原文给出拒绝率前后对比、MMLU 差异和 KLD 数据,读者可据此判断这次去拒绝编辑的代价与效果。
huihui-ai 发布 openbmb/MiniCPM5-1B 的 abliterated 去审查版本 Huihui-MiniCPM5-1B-abliterated,通过 abliteration 技术移除模型拒绝回答行为,无需 TransformerLens。模型安全过滤大幅降低,可能生成敏感或不当内容,官方建议仅用于研究、测试或受控环境,避免直接用于生产或面向公众的商业应用。
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如 22 至 52 层),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144 上下文。模型安全过滤大幅降低,建议用于研究测试而非生产环境。
OS-Software 基于 LiquidAI/LFM2.5-24B-A2B 发布去对齐版本,用自研 Heretic fork 只改动 layers 18、22、26 的 self_attn.out_proj 权重并烘焙进 BF16。实测 100 条日语有害提示词的拒绝率从原版 94-99/100 降到 0-1/100,QAD Q4_0 的 MMLU 为 55.35%(较原版 -0.62),并提供 Q4_0 到 Q8_0 多档 GGUF;模型仍会先思考再回答,输出偏长,建议 8k 以上输出预算,仅供研究实验用途。
推荐理由:作者给出了各量化档位的拒绝率前后对比和 KL 散度、MMLU 数据,可以据此评估这个去对齐版本改动幅度与能力损失。
OS-Software 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 版本,使用 Heretic 的自定义 fork,仅改动第 18、22、26 层的 attention output projections。实测 100 条日语有害提示词的拒绝率从原版 94-99/100 降至 0-1/100,QAD Q4_0 的 MMLU 为 55.35%(原版 55.97%)。提供 Q4_0 到 Q8_0 多个量化档位,模型仍会先思考再回答,作者建议输出预算设 8k token 以上,仅供研究实验使用。
同一新闻,精选展示《OS-Software 发布 LFM2.5-24B-A2B-Uncensored-Heretic 去对齐版本》
huihui-ai 基于 abliteration 技术发布 Qwen/Qwen3.8-Flash-Next 的去审查 GGUF 版本,移除模型拒绝回答行为,无需 TransformerLens。新增 Unsloth 系列与 Swift 系列 GGUF,均支持最新版 Strata 和 llama.cpp,可用 llama-cli 加载 UD-Q4_K_XL 量化文件并将上下文设为 262144。该模型安全过滤大幅降低,可能生成敏感或不当内容,建议仅用于研究、测试或受控环境。
candor-lab 用自研权重编辑工具 Candor 移除 Qwen3.5-9B 的拒绝行为,以 rank-1 编辑每层 attention 与 MLP 输出矩阵,发布单个 Q4_K_M GGUF 文件(5.78 GB)。实测 288 条 StrongREJECT 有害提示拒绝数从 279 降到 0,无害提示拒绝 5 降到 2,GSM8K 正确数与原模型差异在噪声内;与 heretic 最佳试验相比,有害提示中位思考 token 为 996 对 1648,数学超预算次数也更少。基于 Qwen/Qwen3.5-9B 原始 16 位权重,不含视觉编码器,Apache 2.0 协议,仅用 llama.cpp b11524 在思考开启下实测,LM Studio 和 Ollama 等未验证。
推荐理由:原文给出与原模型和 heretic 对照的拒绝率、KL 散度和 GSM8K 数据,可据此判断这次权重编辑的代价与效果。
Redshir4t 将 huihui-ai/Huihui-Qwen3-4B-Instruct-2507-abliterated 转换为 Q4_K_M 量化的 GGUF 格式并上传至 Hugging Face。该模型可通过 llama.cpp 的 llama-cli 或 llama-server 直接加载运行,支持通过 brew 安装,并可用 LLAMA_CUDA=1 等编译选项适配 Nvidia GPU。
AtomicChat 发布 Liquid LFM2.5-24B-A2B 的去对齐版本,仅编辑 blocks 14-39 的 52 个矩阵,英文拒绝率从 96.3% 降至 1.2%,俄语从 62% 降至 0%,思考模式下从 30/30 降至 0。MMLU 从 64.40% 到 65.55% 基本不变,提供 6 个 GGUF 量化版本和一个 24 MB LoRA 适配器(可用 --lora-scaled 加载,推荐 scale 1.75),方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
glivorem 用 Heretic 工具对 Qwen3-4B-Instruct-2507 做 abliteration 处理,通过方向消融直接编辑权重移除模型的拒绝行为,未做新数据微调,知识与通用能力接近原版。模型为 4B 参数非思考 instruct 模型,262k 原生上下文,BF16 safetensors 格式,Apache 2.0 许可,可在 vLLM 和 Transformers 中使用,无内置安全护栏。
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒答行为,仅对部分层(如 22 至 52 层)做消融,MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,支持最新版 ollama(huihui_ai/Qwen3.8-abliterated)和 llama.cpp(-c 262144),适合研究测试用途。
eccentricorbit 基于 Qwen/Qwen3-4B-Instruct-2507 用 Heretic 制作了 abliterated 版本,通过 directional ablation 直接修改权重移除模型的拒绝行为,未做新数据微调,知识与通用能力接近原版。模型为 4B 参数、262k 原生上下文的非思考 instruct 模型,BF16 safetensors 格式,Apache 2.0 许可,可在 vLLM 和 Transformers 中使用,无内置安全护栏。
BoldingBuilds 在 Hugging Face 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的无对齐版本,直接在 24GB 2-bit GGUF 上做权重空间消融,未经过 BF16 重量化,保留了 NVIDIA 量化感知蒸馏产出的约 17GB IQ2_XXS 专家权重。编辑共改动 100 个张量,采用 Arditi et al. 2024 的均值差方向法,λ=0 时输出与原文件逐字节一致作为自检门槛。
推荐理由:原文给出完整的消融方法、拒绝率与能力对照数据,读者可以据此评估这个去对齐版本的实际效果与局限。
AtomicChat 将 NVIDIA Nemotron 3.5 Super VL 120B-A12B 的拒绝行为从权重中移除,发布 Atomic Dynamic GGUF 量化版本。JailbreakBench 拒绝率从 95.1% 降到 0%,俄语红队提示从 76% 降到 2%,MMLU 保持 85.05% 到 85.10% 基本不变;方法基于 Arditi et al. 2024 的单一方向拒绝机制,对写入残差流的 128 个矩阵做投影编辑,提供 AD-Q4_K_S、AD-IQ3_XXS、AD-Q2_0_L 三档量化,上游 llama.cpp 可直接运行。
推荐理由:原文给出拒绝率前后对比、MMLU 对照和量化误差数据,读者可以据此判断这次去对齐编辑的代价到底有多大。
notfakerv/LFM2.5-24B-A2B-abliterated-MLX-4bit 是 abliterated 版 LFM2.5-24B-A2B 的 MLX 4-bit affine 量化转换,权重 13.49 GB,直接由 BF16 检查点转换而非 GGUF 重量化,需 MLX LM >= 0.32.0 与 MLX >= 0.32.2。该模型为 always-thinking 推理模型,建议 24 GB 统一内存起步;验证限于冒烟与数值检查,未做 Apple Silicon 运行时测试或速度基准。
AtomicChat 发布 Ternary-Bonsai-2-2B-gguf 的 rank-1 投影 LoRA,通过移除 attn_output、ssm_out、ffn_down 中的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。拒绝率从 87.5% 降到 0.0%,无害提示误拒为 0.0%,MMLU(n=300)从 31.7 变为 34.3;推荐 scale 1.0(1.5 开始退化),残差泄漏约 1e-4,作者标注为研究级产物,完整逐条日志在 -metrics 仓库。
推荐理由:原文给出拒绝率与 MMLU 前后对比数据,并说明残差泄漏等局限,读者可据此判断该去对齐适配器的实际代价。
AtomicChat 发布 rank-1 投影 LoRA,通过移除 Ternary-Bonsai-2-4B-gguf 残留写入路径(attn_output、ssm_out、ffn_down)中的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。实测显示有害拒绝率从 99.0% 降到 0.0%,无害提示误拒率从 1.0% 降到 0.0%,MMLU(n=300)从 68.7 到 69.0;推荐 scale 1.0(1.5 开始退化),残留泄漏约 1e-4,作者标注为研究级产物,完整逐条日志在 -metrics 仓库。
AtomicChat 在 Hugging Face 发布 rank-1 投影 LoRA,通过移除 Ternary-Bonsai-2-9B-gguf 残差写入路径(attn_output、ssm_out、ffn_down)的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。拒绝率从 100.0% 降至 0.0%,无害提示误拒从 1.9% 降至 0.0%,MMLU(n=300)从 76.0 降至 71.7;推荐 scale 1.0(1.5 开始退化),残差泄漏约 1e-4,作者标注为研究级产物,许可证继承基座模型。
推荐理由:原文给出拒绝率与 MMLU 的前后对照数据,读者可据此权衡这个去对齐 LoRA 的收益与能力损失。
Shifty666 在 Hugging Face 发布 Llama-3.1-8B-Lexi-Uncensored-V2-OBLITERATED,基于 Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2,用开源工具 OBLITERATES 的激进方法通过激活工程(abliteration)移除模型的拒绝行为。模型可通过 transformers 库加载使用。
notfakerv 在 Hugging Face 发布 abliterated 版 LFM2.5-24B-A2B 的 GGUF 量化文件,含 Q4_K_M(14.53 GB)、Q8_0(25.49 GB)和实验性 NVFP4(14.02 GB)三种,均来自同一 BF16 编辑后 checkpoint,未做额外训练。该版本采用 AtomicChat 公开的 late-block 方向性编辑(blocks 14-39,强度 1.75),16 条拒答提示词上关键词拒答从 16 降至 1,但 IFEval 32 例中从 27 降至 25。沿用原 LFM Open License v1.0,含 1000 万美元年营收商业限制。
dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B 激活)发布权重级 abliterated 无对齐版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,以原生 FP8 权重提供 drop-in checkpoint,无自定义 model.py、无运行时 hook、无 steering vectors。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
xtools-at 基于 Qwen3.5-2B-MultiDistill-Megamix-6xMerge,用 Heretic v2.0.0.dev0 制作出去审查(decensored)版本并开源在 Hugging Face。该模型为 2B 参数的六模型线性加权合并,拒绝率从原版的 96/100 降至 1/100,KL 散度为 0.0295,支持推理、数学、编程与图文交互,并提供复现说明。
xtools-at 在 Hugging Face 发布 Qwen3.5-4B-MultiDistill-Megamix-8xMerge 的去对齐版本,使用 Heretic v2.0.0.dev0 制作并提供复现说明。该模型本身是三个 Qwen3.5-4B 检查点的线性加权合并,权重分别为 1.0、0.8、0.6,涉及推理蒸馏、Claude 衍生数据与 Heretic 变体。去对齐后拒绝率从原模型的 95/100 降至 3/100,KL 散度为 0.0883;作者未提供合并后模型的基准成绩,建议部署前与基座及三个源检查点对比评测。许可证为 Apache-2.0。
推荐理由:原文给出 Heretic 消融参数与拒绝率前后对比,从 95/100 降到 3/100,可复现方法也写清了。
DOLGX 基于 abliteration 技术发布了 Qwen/QwQ-32B-Preview 的去审查版本 QwQ-32B-Preview-abliterated,可在不使用 TransformerLens 的情况下去除模型拒答行为。该实现为概念验证性质,用户可通过 Ollama 直接运行 huihui_ai/qwq-abliterated 使用。
Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。
Hugging Face 上发布 Qwen3.5-9B-Abliterated-V2,提供 BF16 与 GGUF Q8_0 格式,abliterated 处理后零拒绝且保留深度推理,可在 RTX 5080(16 GB)上运行。GSM8K 对比测试显示,其与原版 Qwen3.5-9B 均达 90.0% 精度,而 Xiaomi MiMo-V2.6-Distill 以 150-400 tokens 的精简推理快 7.4 倍;原版此前失利源于输出被截断在 1,024 tokens,给予 16,384 tokens 后即全部解对。
Hugging Face 上架了 mradermacher 制作的 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic-i1 GGUF 量化模型。该模型基于 Qwen3.5-4B 的多蒸馏三路合并无审查版本,页面暂未提供完整模型卡信息。