mradermacher 发布 Swift-1.5-Qwen3.8-27B-Abliterated 的 GGUF 量化版本
Hugging Face 上线 mradermacher 制作的 Swift-1.5-Qwen3.8-27B-Abliterated GGUF 量化模型仓库。该模型基于 Qwen3.8 架构,参数规模 27B,采用 abliterated 去对齐处理,以 GGUF 格式提供,便于本地部署使用。
新闻、仓库与研究,按时间排列。
Hugging Face 上线 mradermacher 制作的 Swift-1.5-Qwen3.8-27B-Abliterated GGUF 量化模型仓库。该模型基于 Qwen3.8 架构,参数规模 27B,采用 abliterated 去对齐处理,以 GGUF 格式提供,便于本地部署使用。
开发者 doss1232 在 Hugging Face 上传了基于 unsloth/Qwen3.5-9B 微调的 uncensored_qwen3.5_9B 模型,采用 apache-2.0 许可证,训练过程借助 Unsloth 实现 2 倍加速。该模型已有 185 个微调衍生版本。
独立研究项目 JevStyle-9B-Decision-Uncensored-v1 发布,基于 wangzhang/Qwen3.5-9B-abliterated 冻结底座,通过 LoRA(r=16)加决策头实现单次前向输出最多 24 个选项的校准概率分布,可部署增量约 145–165 MB。模型采用软标签 KL 蒸馏训练,公开 holdout 硬命中率 100%,敏感项安全类一致率 92.6%(后续 v5 软优化达 98.2%),权重以 Apache-2.0 发布,与 TypeSafe AI 或 Jev 无官方关联。
blaj 在 Hugging Face 发布 Qwen-Image-2.1 Uncensored 的 OpenVINO INT4 量化版,将 abliterated 的 Qwen3-VL 文本编码器替换进原模型,总大小约 13 GB,可在 Intel Arc iGPU 上运行文生图。在 Core Ultra 7 258V 上 512x512、10 步生成耗时 12.9 秒(1.29 秒/步),峰值内存 7.1 GB;图像编辑(i2i)在 30 GB 内存下会耗尽内存,需 diffusers、optimum-intel 主分支及 OpenVINO 2026.5.0 nightly。
ReubenNewman 在 Hugging Face 上架 Qwen3-4B-2507-Instruct-Uncensored 的 Q8_0 GGUF 量化版本。该模型可在 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种工具中运行,并支持通过 llama-server 或 vLLM 启动 OpenAI 兼容 API 服务。
Hugging Face 上 mradermacher/qwen3.5-9b-uncensored-GGUF 模型页面给出多框架使用方法,涵盖 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等工具,示例量化版本为 Q4_K_M。llama.cpp 可启动 OpenAI 兼容本地服务器并支持终端直接推理,vLLM 与 SGLang 均提供 OpenAI 兼容 API 调用方式。
mradermacher 在 Hugging Face 发布 qwen3.5-9b-uncensored 的 i1-GGUF 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio 等工具本地运行,示例采用 Q4_K_S 量化,支持启动 OpenAI 兼容本地服务器或终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
基于 orcarouter/GLM-5.3-Flash-Uncensored-FP8 的混合精度 GGUF 正在构建,权重尚未发布。该方案对常驻路径和首末路由层保留更高精度,最低用 IQ2_XXS,规划主模型加 MTP 约 85.870 GiB;原生上下文 1,048,576 tokens,需 antirez/ds4 配套运行时扩展,MIT 许可。
Dimachaerus 在 Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored 的 GGUF 量化版本(107GiB,BF16),可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具本地运行,并支持 llama-server 启动 OpenAI 兼容 API 及接入 Pi、Hermes、OpenClaw 等智能体。
Lygodactylus 在 Hugging Face 上传 Qwen3.8-Flash-Next-Uncensored 的 exl3 5bpw 量化版本,模型参数量 43B,采用 BF16、F16、I16 张量类型,以 Safetensors 格式提供。该模型暂无模型卡,也未部署到任何 Inference Provider。
Goghor 在 Hugging Face 上发布基于 Qwen3.8 的 27B 参数模型 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-INT8-W8A16-MTP,采用 INT8 W8A16 量化,模型大小 28B params,以 Safetensors 格式提供。该模型目前未被任何 Inference Provider 部署,README 暂无内容。
Huihui-Qwen3.8-27B-abliterated 模型的官方 VAL-APEX-I 量化版 MiniPlus V2.1 发布,体积 15.33 GB(3.93 BPW),WikiText-2 困惑度 6.1466,较 BF16 仅上升 2.44%,达到 Q5_K_M/Q6_K 边界质量。该版本在 24GB GPU 上支持完整 256K 上下文,192 个 DeltaNet SSM 状态张量保持 F32 无压缩,输出头采用 Q6_K 保护。另有 11.90 GB 的 NanoPlus 版本可在 16GB 硬件上运行。
Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版,体积仅 11.90 GB(2.85 BPW),可在 16GB GPU 上运行,并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238,较 BF16 基线仅升 7.06%,达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩,输出头采用 Q6_K 保障语法稳定性。
minas2025 基于 sh0ck0r/Qwen3.5-0.8B-heretic 用 QLoRA(4-bit)微调出 Qwen-3.5-0.8B-Uncensored-Conversational,使用含 11,400 条温暖对话数据的 minas2025/warm-chat-12k 数据集,让 0.8B 模型以热情、口语化风格聊天且无拒绝回答。模型提供 Q8_0 GGUF(约 812 MB),上下文 2048,可在 LM Studio、Ollama、llama.cpp 中加载。
infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF,这是面向 Cortiq 运行时的单文件图像生成模型,大小 12.745 GB、15.59B 参数,内含 DiT、文本/视觉编码器、VAE 和 tokenizer,支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒;上游 GGUF 版本无内置安全检查器,采用 Qwen 研究许可,仅限非商业研究用途。
IsValorum 发布 nerkyor/Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 的官方 VAL-APEX-I MiniPlus V2.1 GGUF 量化版,针对混合线性-二次注意力架构采用 814 条细粒度张量规则。该版本有效位宽 3.93 BPW、文件 15.08 GB,目标 Q5-Q6 感知质量,8K 上下文全 GPU 卸载约需 14-16 GB VRAM,遵循 Apache 2.0 许可。
Hugging Face 上发布 Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I NanoPlus GGUF 量化版,采用混合线性注意力与二次注意力架构,按 814 条细粒度张量规则分层量化,有效位宽 2.85 BPW,文件 11.65 GB。模型遵循 Apache 2.0 许可,8K 上下文全 GPU 卸载约需 10-12 GB 显存,可部分卸载运行于 12-16 GB GPU。
jingamin 在 Hugging Face 上架 OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf 量化模型,提供 Q5_1 等版本。
Lygodactylus 在 Hugging Face 上传了 Qwen3.8-27B-Uncensored 的 exl3 5bpw 量化模型,采用 Safetensors 格式,模型规模为 10B 参数,张量类型为 BF16、F16、I16。该模型目前没有模型卡,也未部署到任何 Inference Provider,用户可申请提供推理支持。
jingamin 在 Hugging Face 上发布 abliterated 去审查版 GPT-oss-20b 的 GGUF 量化模型,提供 Q5_1 等量化版本。该模型可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器和终端推理,也可在 Ollama、LM Studio、Docker Model Runner、Lemonade 等工具中使用。
Hugging Face 上架 jingamin/OpenAI-36B-Brains20x-Uncensored-IQ4_NL.gguf 量化模型(IQ4_NL)。该模型为 36B 参数的无审查版本,可通过 llama.cpp 的 llama serve 或 llama cli 直接加载,支持本地 OpenAI 兼容服务器、终端推理、预编译二进制、源码编译及 Docker 运行。
Hugging Face 上架 jingamin/OpenAI-gpt-oss-20B-GPT5.1-5.2-DISTILL-Heretic-Uncensored-MXFP4.i1-Q5_K_M.gguf 模型,为 gpt-oss-20B 的无审查蒸馏量化版本。
Hugging Face 上架 jingamin/OpenAI-20B-NEOPlus-Uncensored-Q5_1.gguf:Q5_1 量化模型,提供 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式。
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。
QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。
SaturnHeaven 发布 Gemma-4-Queen-31B-it 的 rank-64 abliteration LoRA 适配器 GGUF 版,基于 Heretic v1.2.0 的 ARA 方法对 attn.o_proj 的去对齐差值做 SVD 截断近似,用于角色扮演和创意写作时减少拒绝和免责声明。
推荐理由:作者给出了 rank-64 近似的重构保真度指标和源模型拒绝率对比,读者可据此判断这个 LoRA 适配器去对齐的可靠程度。
Kitani 在 Hugging Face 发布 GLM-5.3-UNCENSORED 的 MXFP4 量化版本,基于 dealignai/GLM-5.3-UNCENSORED-FP8 做 FP8→MXFP4 再量化,未做额外训练。
grimlee 在 Hugging Face 发布 ukisai/Swift-1.5-Qwen3.8-27b 的去对齐衍生版本,采用 pos46/FULL/lambda=1.2 的拒绝方向投影,修改 131 个张量。
推荐理由:原文给出拒绝方向投影方法与成对评测数据,读者可据此判断该去对齐版本在拒绝率与能力保留之间的实际取舍。
Hugging Face 用户 doss1232 上传了微调模型 uncensored_phi4,基于 unsloth/phi-4-unsloth-bnb-4bit 微调而来,采用 apache-2.0 许可证。该模型使用 Unsloth 训练,速度提升 2 倍,目前已有 364 个衍生微调模型。
TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF,提供常规与 MTP 两种 NEO imatrix GGUF 量化。
推荐理由:原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及 8bit/4bit 下 ARC-C 等基准对比,可据此评估这个去对齐微调的实际效果。
Hugging Face 上线的 Gemma-The-Writer-N-Restless-Quill-10B-Uncensored-GGUF 是基于 Gemma2 的四个 EQBench 高分写作模型合并的无审查创意写作模型,经 Brainstorm 5x adapter 修改后达 10B 参数、46 层、508 tensors。
Hugging Face 用户 daddysteven 发布 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M 以平衡体积与质量。
huihui-ai 的 Qwen3-Coder-Next-abliterated 模型现提供基于 llama.cpp b7966 的 imatrix GGUF 量化版本,涵盖 Q8_0(84.81GB)到 IQ1_M(17.19GB)共 26 种规格,其中 Q4_K_M(48.56GB)等多档被标注为推荐。
Hugging Face 上发布 GLM-4.7-Flash 的去审查(Heretic)GGUF 量化版,基于 30B-A3B MoE 架构,激活约 2B 参数,可在 GPU 或 CPU 上运行。量化采用 NEO 与 Code 双 Imatrix 增强,输出张量使用 16 位全精度,模型支持最高 200k 上下文(非 RoPE),推荐最低 8k-16k 上下文。
greglechin 发布 ajgazin/Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 AWQ W4A16 非对称 g128 量化版(19 GB)。
推荐理由:作者用 GPQA-Diamond 逐题对比证明该 AWQ 配方不像此前 GPTQ 那样拉长推理长度,分数差异均在噪声内。
Technology Innovation Institute 发布 Falcon-Emirati-7B,基于 Falcon-H1-Arabic 7B 变体,针对阿联酋方言的词汇、语法与文化语境做特化训练。
推荐理由:官方同时给出 Alyah 准确率、方言保真度和逐类对比数据,读者可以据此判断方言特化训练相对模型规模的收益。
Hugging Face 上线 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16、FP8、Q4_K_M 等多种格式,文件大小从 4.15 GB 到 14.23 GB 不等,推荐 Q4_K_M 以平衡体积与质量。
ufakzeka-karar 是一个 182,494,466 参数的开源土耳其语决策模型,基于 ufakzeka-1-base,单次 CPU 前向传播即可对最多十个选项输出温度缩放概率与期望误差信号,且打分与选项顺序无关。
Magnarks 在 Hugging Face 上发布基于 google/gemma-4-12B-it 的 abliterated 去审查微调模型 gemma-4-12B-it-abliterated-uncensored-nvfp4,采用 nvfp4 量化。