mradermacher 发布 qwen2.5-1.5b-uncensored 的 i1-GGUF 量化版
Hugging Face 上的 mradermacher/qwen2.5-1.5b-uncensored-i1-GGUF 提供 qwen2.5-1.5b-uncensored 模型的 i1-GGUF 量化版本,供用户下载运行。模型参数规模为 509k params,采用 GGUF 格式,硬件兼容性信息需登录查看。
新闻、仓库与研究,按时间排列。
Hugging Face 上的 mradermacher/qwen2.5-1.5b-uncensored-i1-GGUF 提供 qwen2.5-1.5b-uncensored 模型的 i1-GGUF 量化版本,供用户下载运行。模型参数规模为 509k params,采用 GGUF 格式,硬件兼容性信息需登录查看。
SaturnHeaven 在 Hugging Face 上传 DeepSeek-V4.1-Flash-UNCENSORED 的 RANMA EXL3 GGUF 版本,模型卡片与文件随后补齐。该版本基于 dealignai 制作的去审查与 EXL3 2.9bpw 量化模型 repack 而成,未重新量化,需 ranma.cpp ranma_20261013 或更新版本。
Hugging Face 上架 taurusduan/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF 模型,提供 BF16 量化版本。该模型为图像-文本到文本多模态模型,可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种方式运行,并支持 llama.cpp 和 vLLM/SGLang 的 OpenAI 兼容 API 本地服务。
DavidAU 在 Hugging Face 上架 Qwen3.6-35B-A3B-Brainwaves-Uncensored-Turbo-Brilliance-50X-Reasoning-Instruct 的 GGUF 版本。该仓库公开可访问,但用户需登录并同意分享联系信息的条件后才能下载模型文件。
ready-eight 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版,源模型为 dealignai 对 zai-org/GLM-5.3 做权重编辑(非微调)的去对齐版本,总量 753B,文件 273 GiB。作者给出与 FP8 源的 KL 散度和困惑度数据,tau2-bench 对比显示 airline 差 -0.070、retail 差 -0.022,均无统计显著性;另提醒 glm4_5 解析器会把字符串参数 JSON 解码成整数,导致零售场景约 70% 工具调用失败,评测已应用该修复。
推荐理由:作者实测了该量化版与原版的 KL 散度和 tau2-bench 对比数据,可据此评估去对齐与量化带来的实际损失。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。Q4_K_M(4.60 GB)为推荐的 GGUF 量化方案,MLX 格式针对 Apple Silicon 优化,模型无内置安全检查器,可直接生成成人及敏感图像。需配合 ComfyUI 和 leejet/ComfyUI-GGUF 使用,文本编码器可卸载到系统内存以节省 9–17 GB 显存。
MorinoNushi 发布 GLM-5.3-Flash(320B 总参/18B 激活 MoE,MIT 协议)的去对齐 LoRA 适配器 V3,用 heretic-gguf 对量化 GGUF 权重做 Optuna 优化的方向性消融。有害提示拒绝率从 V2 的 35/140 降至 14/140(10.00%),KL 0.2380 也低于 V2 的 0.3030;适配器约 86 MB,无需改动或重新量化约 160 GB 基座权重,可直接在主线 llama.cpp 上以 --lora 方式加载,不再需要 fork 或补丁。
推荐理由:原文给出消融方法、拒绝率与 KL 前后对比数据,读者可以据此判断 V3 相对 V2 实际去掉了多少拒绝行为。
mradermacher 在 Hugging Face 发布 tinyllama-1.1b-uncensored 的 i1-GGUF 量化版本,提供 imatrix 量化文件(约 0.1GB),可用于自行创建量化版本。该模型页还汇总了各尺寸量化文件下载列表及 GGUF 使用说明,static quants 也在相关页面提供。
Hugging Face 上的 BOBBYBONKERSBFD/Sulphur-2-Prompt-Enhancer-Uncensored-GGUF 提供了多种部署方式:可配合 LTX-2 视频生成管线(需搭配 google/gemma-3-12b 文本编码器,支持文生视频与图生视频),也可用 llama.cpp、vLLM、Ollama 等工具以 IQ4_NL 量化版本运行,支持 OpenAI 兼容 API 的本地服务器。
mradermacher 在 Hugging Face 发布 smollm2-1.7b-uncensored 的 i1-GGUF 量化模型。该模型参数量为 492k(模型大小 492k params),以 GGUF 格式提供,可按硬件兼容性下载使用。
mradermacher 在 Hugging Face 上发布 qwen2.5-1.5b-uncensored 的 GGUF 静态量化模型。该模型尚未接入任何 Inference Provider,下载量也未统计。
mradermacher 在 Hugging Face 上发布了 tinyllama-1.1b-uncensored 模型的 static quants GGUF 量化版本。该模型下载量未被追踪,目前未被任何 Inference Provider 部署,用户可申请提供商支持。
mradermacher 在 Hugging Face 上发布了 smollm2-1.7b-uncensored 的 static quants GGUF 量化版本。该模型暂未部署到任何 Inference Provider,下载量也未统计。
webmp3/Sakura-Qwen-Image-2.1-PE-T2I-Uncensored-GGUF 已在 Hugging Face 上线,提供 Q4_K_M 量化版本,可通过 llama.cpp 运行,支持启动兼容 OpenAI 的本地服务器(llama serve)和终端直接推理(llama cli)。该模型还可用 vLLM、Ollama、Docker Model Runner、Lemonade 等工具部署,并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
Hugging Face 上线 webmp3/Sakura-Qwen-Image-2.1-PE-I2I-Uncensored-GGUF 模型页,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、LM Studio、Docker Model Runner 等多种工具本地运行,支持以 llama-server 启动 OpenAI 兼容 API 与 Web UI,也可在终端直接推理。
DavidAU 团队基于 Qwen/Qwen3.8-27B 发布多阶段微调去对齐版本,用 Heretic v1.2.0 ARA 方法消融后拒绝率从 99/100 降至 0/100,并经两阶段调优。模型自称在 8bit 达 ARC-C 735、ARC-E 882,较原版 Qwen3.8 27B 高 144 分,思考 token 减至原来的 1/2 到 1/10;仓库提供含 NEO imatrix 的常规与 MTP 两种 GGUF 量化(MTP 在 5090 上 Q4_K_S 约 90 t/s),需另行下载 mmproj 文件启用视觉,建议 q4km 以上量化以保障工具调用。
推荐理由:作者给出 Heretic 消融前后 KL 散度与拒绝率对比和各量化档基准分,可以判断这个去对齐版本的具体改动幅度。
AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B,基于 Qwen3.5-35B-A3B 微调,Apache-2.0 许可,只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73(JEV-27B-VL 为 53.64),单 B200 中位延迟 204 ms;同时放出 NVFP4 版本,下载 25.6 GB、显存 23 GiB,可在 32–48 GB GPU 上运行,Decision Index 得分 59.18、96.6% 答案与 bf16 一致。
推荐理由:模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据,并演示了游戏与机器人控制等短板场景。
Hugging Face 用户 Sabomako 上传了 GLM-5.3-Flash-Abliterated-lora-GGUF 模型,采用 glm5-next 架构,参数量 0.1B,以 16-bit 精度提供。该模型尚无模型卡,也未由任何 Inference Provider 部署,上月下载量暂无数据。
JonathanColetti 发布 Qwen3.8-27B 的去对齐 GGUF 量化版本,用 Heretic 移除拒绝方向并保留 MTP 头,100 条有害提示上的拒绝数从基线的 98 降至 12,MMLU 等 4 项基准平均降 0.5 分。提供 IQ2_M 到 Q8_0 共 6 档量化及 noMTP 变体,imatrix 与全套困惑度基线已公开,摘要说明拒绝行为是减少而非消除,接近原拒绝边界处稳定性较低,低比特量化会加剧该问题。
同一新闻,精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100》
darioooooo0o 发布 orcarouter/Qwen3.8-27B-Uncensored(OrcaRouter 基于 Qwen/Qwen3.8-27B 的 abliterated 微调版)的非对称 GPTQ Int4 量化版,group 128,lm_head、MTP head 和 vision tower 保留 BF16。在 Intel Arc Pro B70 + vLLM XPU v0.31.0 上单卡实现 262,144 token 上下文与视觉、MTP k=4,短提示解码 64-128 tok/s,KL 散度 0.018-0.060、top-1 一致率 94.1%,优于对称 GPTQ Int4 g128 方案。
proofofvitalik 于 2026-10-12 发布 Sovereign v2,将 ARA 27B uncensored 模型以 affine 4-bit(group size 64)打包为标准 qwen3_5 MLX 架构,无需 trust_remote_code,文本权重未合并、重训或重量化,并从同一 ARA 源恢复 BF16 视觉与原生 MTP。该版本使用独立仓库和 v2.0.0 标签,不替换旧版;声明架构上下文为 262,144,已在 mlx-vlm 0.7.6、mlx-lm 0.32.0、M4 Max/48GB 环境验证,LM Studio 与 Splash 1.3.1 均可加载。
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本,这是一个 120B 总参数、12B 激活参数的视觉语言模型,采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器,支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成,模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果,并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置,许可证为 OpenMDW-1.1,可商用。
推荐理由:模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置,读者可以据此评估量化损失与所需显存门槛。
shadowdio 在 Hugging Face 上架 Qwen3.5-2B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated 的 GGUF 版本,提供 Q4_K_M 量化。该模型可经 Transformers 加载,也支持 llama.cpp 本地起 OpenAI 兼容服务,兼容 Ollama、LM Studio、Docker Model Runner、Lemonade 等工具,并可接入 Pi、Hermes、OpenClaw 等 Agent。
softwareweaver 发布 GLM-5.3 Uncensored 的 EXL3 量化转换版,源自 dealignai/GLM-5.3-UNCENSORED-FP8,提供 3bpw(307.59 GB)和 6bpw(585.17 GB)两种规格,均保留 MTP 并可选 DFlash2 文件夹。权重采用 ExLlamaV3 的高质量分配,实际码率略高于目标值,需搭配兼容推理软件和足够内存/显存使用。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层(0 起始索引)做消融,并新增 Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD-DW 等系列,其中部分量化将需消融权重转为 Q8_0 以提升响应质量,MTP 和视觉部分未改动。模型支持最新 ollama(huihui_ai/Qwen3.8-abliterated)和 llama.cpp(上下文 262144),因安全过滤大幅减弱,建议仅用于研究或测试环境。
AtomicChat 在 Hugging Face 发布 Qwen-Image-2.1-Turbo 的去对齐文本编码器 GGUF,将 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,可作 stable-diffusion.cpp 的 --llm 使用。作为聊天模型,英文有害提示拒绝率从 88.9% 降到 1.2%,俄语从 38% 降到 0%,MMLU 保持 77.35% 不变。在 45 条敏感图像提示上与原版编码器无一翻转,提供 BF16 到 Q2_K 共 7 档量化,AD-Q4_K 画像偏移为普通 Q4_K_M 的一半。
同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》
作者发布 Swift 1.5 Qwen3.8-Flash-Next NVFP4 的去审查替换文件,将拒答方向以 1.5 倍强度从 151 个写入残差流的张量中投影掉,并提供每层专家从 512 个剪至 256 个的 pruned256 变体。逐文件给出 SHA-256 与验证报告,24,576 个专家重新量化后分量约 −0.498;实测在单卡 RTX PRO 6000(96 GB)上用 SGLang 可跑约每秒 1,000–1,200 生成 token,12 个中文政治敏感问题全部完整回答而原版大多拒答或给官方口径短答。未跑通用基准与 pruned256 变体;n-gram 嵌入分片约 102 GB 需从原仓库获取。
推荐理由:作者给出了逐层投影去除拒答方向的做法和完整验证数据,包括编辑前后分量、量化误差和12题政治敏感问题实测对比,可直接复现。
mradermacher 在 Hugging Face 上发布了 abliterated 处理的 smollm2 1.7B 模型的 i1-GGUF 量化版本,供用户在本地硬件上运行。仓库页面显示模型参数约 492k,需登录查看硬件兼容性信息。
IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。
推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。
mradermacher 在 Hugging Face 上发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated-i1-GGUF 模型仓库,提供 GGUF 量化格式。该模型为 abliterated 版本,量化后模型大小为 3.39M params。仓库卡片的 YAML 元数据缺失,目前显示下载量数据暂未提供。
mradermacher 在 Hugging Face 上发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GGUF 静态量化版本。提供的量化档位按大小排序,包括 Q2_K(11.0 GB)、Q4_K_S(15.9 GB,标注 fast、recommended),以及 mmproj-Q8_0(0.7 GB)和 mmproj-f16(1.0 GB)的多模态补充文件。weighted/imatrix 量化暂不可用,用户可通过 Community Discussion 申请。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供从 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M 以平衡体积与质量。该版本移除内置安全检查器与内容过滤,可直接生成 NSFW 内容,需配合 ComfyUI 与 ComfyUI-GGUF 使用,仓库内包含 qwen3vl_8b 文本编码器和 VAE 等配套文件。采用 Qwen Research License 授权。
mradermacher 在 Hugging Face 上发布了 smollm2-1.7b-abliterated 的 GGUF 静态量化版本。该模型暂未被任何 Inference Provider 部署,下载量未被追踪。
maximUlya 在 Hugging Face 发布 Qwen-Image-2.1 的 Uncensored GGUF 量化版本,基于上游原始权重,提供 BF16、Q4_K_M 等多种量化文件,大小从 4.15 GB 到 14.23 GB 不等,推荐 Q4_K_M(约 4.6 GB)兼顾体积与质量。该版本移除内置安全检查与内容过滤,可直接生成成人及敏感图像,不拒答也不出黑图。需配合 ComfyUI 与 ComfyUI-GGUF(leejet fork)使用,文本编码器卸载到系统内存可节省 9–17 GB VRAM,采用 Qwen Research License。
bowmanslayer 在 Hugging Face 发布 VeriLoop-E2-Uncensored-GGUF 模型,提供 Q4_K_M 量化版本。模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具在本地运行,并支持 llama serve 启动 OpenAI 兼容 API 服务器,也可接入 Pi、Hermes、OpenClaw 等 Agent。
Hugging Face 上出现模型 mikechambers84/GLM-5.3-Flash-Uncensored-W4A16。该模型页面目前无 README 说明内容,且未被任何 Inference Provider 部署,下载量暂未被追踪。
Petyx123 在 Hugging Face 发布 abliterated 版本的 Huihui-GLM-5.3-Flash GGUF 模型,提供 UD-Q4_K_XL 量化版本。该模型为图像-文本到文本多模态模型,可在 llama.cpp、vLLM、SGLang、Ollama、LM Studio、Docker Model Runner 等多种推理框架中运行,并支持通过 OpenAI 兼容 API 进行本地部署调用。
Lexum-J 在 Hugging Face 上发布 Qwen3.5-0.8B-Abliterated-V2 的 i1-GGUF imatrix 量化合集,提供从 i1-IQ1_S(0.4GB)到 i1-Q6_K(0.7GB)的多种量化文件。其中 i1-Q4_K_S 被标注为最优的尺寸/速度/质量平衡,i1-Q4_K_M 为推荐且快速的选项。同时提供 0.1GB 的 imatrix 文件供用户自行制作量化,静态量化版本另在独立仓库发布。
Zewsic 在 Hugging Face 发布 edwixx/diffusiongemma-26B-A4B-it-HERETIC-Uncensored 的 NVFP4 量化版本,基于 Heretic 修改后的专家权重而非原始 Google 模型。MoE 专家与 dense MLP 采用 NVFP4(W4A4、group size 16),注意力、embeddings、router、vision tower 等保留 BF16,校准使用 ultrachat_200k 的 128 个样本、截断至 2048 token。原生存储需 Blackwell 或更新 GPU,可通过 vLLM 部署,许可证为 Apache 2.0 加 Gemma 4 条款。
Hugging Face 上架了 TheCluster/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 的演示页面,模型为 Qwen 3.5 9B 的 uncensored aggressive 版本,采用 MLX mxfp4 格式。该模型目前没有被任何 Inference Provider 部署,下载量暂未被追踪。