ai-gamma 发布 Qwen3.8-27B-Abliterated 的 Q4_K_S GGUF 量化版本
ai-gamma 在 Hugging Face 上发布 Qwen3.8-27B-Abliterated 的 Q4_K_S 量化 GGUF 文件，模型规模 27B，采用 qwen35 Transformer 架构，共 64 层，文件大小 15.59 GB，并提供 SHA-256 校验值。该文件可在支持 qwen35 架构的 LM Studio 或 llama.cpp 等运行时中加载。
#abliterated
新闻、仓库与研究，按时间排列。
Hugging Face · 新模型：abliteratedAI 评分2020
Hugging Face · 新模型：uncensoredAI 评分2424 tinyopsec 发布 MiniCPM5-2B-Abliterated-Uncensored 的 GGUF 量化版本
tinyopsec 基于 openbmb/MiniCPM5-2B（Llama 架构，约 2.5B 参数，经 abliterated 去审查处理）制作并发布 GGUF 量化文件，采用 llama.cpp 生成，提供从 F16（5.0 GB）到 Q2_K 共 13 种量化档位，其中 Q4_K_M（4-bit medium）为推荐版本。模型可通过 llama.cpp 及 Ollama、LM Studio 等 GGUF 兼容运行时使用，以 Apache License 2.0 授权。
Hugging Face · 新模型：abliteratedAI 评分1818 nchapman 发布 Huihui-Qwen3.5-0.8B-abliterated-W4A16-GPTQ 量化模型
nchapman 在 Hugging Face 上发布 Huihui-Qwen3.5-0.8B-abliterated-W4A16-GPTQ，这是一个基于 Qwen3.5 0.8B 的 abliterated 多模态 GPTQ 量化模型，支持 image-text-to-text 任务。模型可通过 Transformers、vLLM、SGLang 加载部署，并提供 OpenAI 兼容 API 与 Docker 运行方式。
Hugging Face · 新模型：abliteratedAI 评分2424 Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ 量化模型上线 Hugging Face
Hugging Face 上架 nchapman 发布的 Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ，这是一个 2B 参数、W4A16 GPTQ 量化的 abliterated 多模态模型，支持图像-文本到文本任务。文档给出 Transformers、vLLM、SGLang 及 Docker 的部署示例，并支持通过 OpenAI 兼容 API 调用。
Hugging Face · 新模型：abliteratedAI 评分2626 Qwen2.5-7B-Instruct-abliterated-64k 发布：元数据修复版 GGUF
R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k，这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版，非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据（factor 2.0），以满足 Hermes Agent 64,000 token 最低上下文要求，权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝，Q4_K_M 版本 4.68 GB。
Hugging Face · 新模型：abliteratedAI 评分2222 0xSojalSec 发布 GLM-5.3-Flash-abliterated 模型
Hugging Face 上架了 0xSojalSec/GLM-5.3-Flash-abliterated，一个 abliterated（去抑制）版本的 GLM-5.3-Flash 多模态模型，支持 image-text-to-text 任务。页面给出 Transformers、llama.cpp（UD-Q4_K_XL 量化）、vLLM、SGLang、Ollama、Docker 等多种本地与服务器部署方式，并提供 OpenAI 兼容 API 调用示例。
Hugging Face · 新模型：abliteratedAI 评分1818 Qwen3.5-4B-abliterated 模型上线 Hugging Face
cfahlgren1 在 Hugging Face 发布 abliterated 版 Qwen3.5-4B 多模态模型，支持图像-文本输入。该模型可通过 Transformers、MLX、vLLM、SGLang 等方式加载，并提供 OpenAI 兼容 API 与 Docker 部署选项。
Hugging Face · 新模型：abliteratedAI 评分2424 prithivMLmods/Qwen3.8-27B-abliterated-NVFP4-GGUF 上架 Hugging Face
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本（27B 参数）已在 Hugging Face 上架，支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
Hugging Face · 新模型：abliteratedAI 评分1717 iamherebefore 发布 Qwen2.5-Coder-3B-Instruct-Abliterated-GGUF 模型
Hugging Face 上架了 iamherebefore 的 Qwen2.5-Coder-3B-Instruct-Abliterated-GGUF 模型，基于 huihui-ai 的 Qwen2.5-Coder-3B-Instruct abliterated 版本微调而来。该模型 README 为空，下载量暂未被追踪。
Hugging Face · 新模型：abliteratedAI 评分1515 Hugging Face 上架 iamherebefore/Qwen2.5-Coder-3B-Instruct-Abliterated 模型仓库
Hugging Face 新增 abliterated 类模型仓库 iamherebefore/Qwen2.5-Coder-3B-Instruct-Abliterated。该模型目前未部署到任何 Inference Provider，下载量未被统计，README 文件存在但内容为空。
Hugging Face · 新模型：abliteratedAI 评分2121 mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated-i1-GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Ornith1.0-9B-3MPER0RR-abliterated 模型的 GGUF 量化版本（如 Q2_K）。该模型可通过 llama.cpp 在本地运行 OpenAI 兼容服务器或终端推理，并支持在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等多种工具中使用。
Hugging Face · 新模型：abliteratedAI 评分2525 mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated GGUF 量化模型
Hugging Face 用户提供 mradermacher/Ornith1.0-9B-3MPER0RR-abliterated-GGUF 模型（Q4_K_S 量化版），可在 llama.cpp、Ollama、Docker Model Runner 等多种本地工具中运行。文档给出 macOS、Linux、Windows 各平台的安装与启动命令，支持通过 llama serve 启动 OpenAI 兼容本地服务器或直接在终端推理，还覆盖 LM Studio、Pi、Hermes Agent、OpenClaw 等客户端配置方法。
Hugging Face · 新模型：abliteratedAI 评分2020 mradermacher 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 GGUF 静态量化版本
mradermacher 在 Hugging Face 上放出 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 GGUF 静态量化版本。该模型未部署到任何 Inference Provider，下载量也未统计。
Hugging Face · 新模型：abliteratedAI 评分1818 3MPER0RR 发布 Ornith1.0-9B-3MPER0RR-abliterated 模型
3MPER0RR 在 Hugging Face 上发布基于 Ornith 1.0 9B 的 abliterated 微调模型，参数规模 9B，张量类型 BF16，采用 MIT 许可证，以 Safetensors 格式提供。该模型已完成 200 次试验测试并保存。
Hugging Face · 新模型：abliteratedAI 评分2323 abliterated 版 GLM-5.3 Flash 量化模型 ktobik/huihui-glm53-flash-abliterated-q4kxl-public 上架 Hugging Face
abliterated 版 GLM-5.3 Flash 量化模型 ktobik/huihui-glm53-flash-abliterated-q4kxl-public（UD-Q4_K_XL）在 Hugging Face 上架。该模型可通过 llama.cpp 启动本地 OpenAI 兼容服务器或在终端直接推理，并支持 Ollama、Docker Model Runner、Lemonade 等多种运行方式，也可接入 Pi、Hermes、OpenClaw 等智能体工具。
Hugging Face · 新模型：abliteratedAI 评分2525 Hugging Face 上架 abliterated 量化模型 qwen38-flash-next-abliterated-iq3s（IQ3_S）
AItaro0214 发布的 qwen38-flash-next-abliterated-iq3s 已在 Hugging Face 上线，提供 IQ3_S 量化版本。模型可通过 llama.cpp 的 llama serve / llama cli 直接拉取运行，也支持 LM Studio、Jan、Ollama、Docker Model Runner 等多种本地部署方式，并可配置到 Pi、Hermes、OpenClaw 等工具中作为 OpenAI 兼容接口使用。
Hugging Face · 新模型：abliteratedAI 评分1818 EsteefAi 镜像发布 gemma-3-4b-it-abliterated-v2 GGUF 模型
Esteef.Ai 为 Philibert 镜像了 mlabonne 基于 Google Gemma 3 制作的 abliterated 版模型 gemma-3-4b-it-abliterated-v2-GGUF。镜像文件与原版逐字节一致，未做任何修改，其中 q6_k 量化文件的 SHA-256 为 47636d77…。Philibert 在用户请求该模型时通过 `ollama pull hf.co/EsteefAi/gemma-3-4b-it-abliterated-v2-GGUF-mirror` 下载，许可证沿用 Gemma Terms of Use。
Hugging Face · 新模型：abliterated精选AI 评分5858 IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重
IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版，体积从 bf16 的 65.8 GB 降到 22.1 GB，KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化：专家用 FP4 权重加 bf16 激活，Mamba2 投影用 FP8，注意力保持 bf16，并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过，MTP 投机解码接受率 63%；24 GB 显存较紧张，建议 32 GB 以上。
推荐理由：作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比，可据此选择合适的构建。
Hugging Face · 新模型：abliterated精选AI 评分6262 IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重
IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版，20.5 GB（bf16 为 65.8 GB），KL 0.0215，用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化，激活保持 bf16，面向无 FP4/FP8 支持的 GPU（如 Ampere）。在 DGX Spark 上用 vLLM 0.30.0 测试，4 个温度为 0 的请求均正确且工具调用格式正常；Heretic 评测显示 100 个有害提示拒绝 26 个（bf16 去对齐版为 23），作者称数个拒绝的差异不显著。
推荐理由：发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比，还注明两次基线运行差异数个拒绝不显著，便于判断精度损失。
Hugging Face · 新模型：abliterated精选AI 评分5454 leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版
leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版，采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头，总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量，经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX（M4 Pro 48GB）上 mtp_enabled 开启时草稿接受率 89.1%，吞吐 78.6 tok/s，较关闭时的约 58.5 tok/s 提升 28–34%；MTP 加速仅支持 oMLX，LM Studio 只能加载基座模型。
推荐理由：作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据，读者可据此判断这个 MLX 移植在速度与精度上的取舍。
Hugging Face · 新模型：abliteratedAI 评分2626 mradermacher 发布 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-i1-GGUF 量化模型，支持以 Q2_K 等量化版本运行。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理，也可在 Ollama、Docker、LM Studio、Jan 等工具中使用，并给出了 Pi、Hermes Agent、OpenClaw 等智能体的具体配置方法。
Hugging Face · 新模型：abliteratedAI 评分1818 akshitaitsolutions 发布 DeepSeek-R1-Distill-Qwen-1.5B-Abliterated-dpo 模型
Hugging Face 上架了 abliterated 版模型 DeepSeek-R1-Distill-Qwen-1.5B-Abliterated-dpo，并提供 Transformers、vLLM、SGLang 及 Docker Model Runner 的调用与部署示例。模型可通过 pipeline 加载，或经 vllm serve、sglang launch_server 启动 OpenAI 兼容 API 服务。
Hugging Face · 新模型：abliteratedAI 评分2828 dnnagy 发布 Huihui-Qwen3.6-35B-A3B-abliterated GGUF 模型
dnnagy 在 Hugging Face 上发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 GGUF 版本（BF16）。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，支持 OpenAI 兼容本地服务器，也可在 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等工具中使用。
Hugging Face · 新模型：abliteratedAI 评分2525 Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本发布
Hugging Face 上发布 Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本，由 exllamav3 1.6.4 的 convert.py 生成，decoder 约 4.05 bpw、lm_head 6 bit、MTP 4 bpw，视觉塔保持 bf16 未量化。目录约 19GB 含三个 safetensors shard，MTP 权重与预处理器配置从父模型 InternScience/Sage-A1.5 补齐，需 exllamav3 1.6.4 加载，可用 -mode qwen35 并开启 MTP draft。
Hugging Face · 新模型：uncensoredAI 评分2020 MishraNepali/Lily-Cybersecurity-7B-Uncensored-GGUF_Q5_K_M 量化版发布
Hugging Face 用户 MishraNepali 发布 Lily-Cybersecurity-7B-Uncensored 的 GGUF Q5_K_M 重新量化版本，体积从 13.5GB 降至 4.07GB，可在 16GB 内存的 CPU 上运行，也可在 Google Colab 使用。该模型源自 segolilylabs/Lily-Cybersecurity-7B-v0.2（Apache 2.0 协议），中间版本由 NiroshanDH 量化并做 abliteration 处理，推荐上下文窗口 4096 tokens，量化版可能出现模型幻觉。
Hugging Face · 新模型：abliteratedAI 评分2222 TristanUK 发布 onyx-qwen2.5-7b-abliterated-lora-GGUF 量化模型
TristanUK 在 Hugging Face 发布 abliterated 版 Qwen2.5 7B 的 GGUF 量化模型（Q4_K_M），提供去审查变体供本地推理使用。该模型可通过 llama.cpp 直接运行，支持 llama serve 启动 OpenAI 兼容本地服务器或命令行推理，也提供 Ollama（ollama run）、Docker Model Runner、Lemonade 等拉取运行方式。此外可接入 Pi、Hermes Agent、OpenClaw 等本地 Agent 工具，作为默认模型使用。
Hugging Face · 新模型：abliteratedAI 评分2626 Huihui-GLM-4.5-Air-abliterated-lossy-REAP_50-safetensors 上架 Hugging Face
Hugging Face 上架了基于 huihui 去限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型，由 concedo 上传。相比此前尝试，校准数据集被泛化（仍保留 60%/40% 创作偏向）并按源数据重新封装，激活记录长度从 3072 提升到 8192，并采用稀疏 observer 避免物化整个 [128, dim, tok] 块。该模型目前未经测试，可能无法加载、产生乱码或无法量化。
Hugging Face · 新模型：abliteratedAI 评分2222 Koshkasa 发布 GLM 4.5 Air 的 37.5% REAP 剪枝版本（abliterated lossy）
Hugging Face 上由 concedo 上传的 GLM 4.5 Air abliterated 版本（huihui 去限制版）的 37.5% REAP 剪枝模型。相比此前失败的尝试，校准数据集被泛化（保留 60% creative bias）并按源基准重新打包，激活记录长度从 3072 提高到 8192，并使用稀疏 observer 避免物化整个 [128, dim, tok] 块。模型目前未经测试，可能无法加载或输出乱码。
Hugging Face · 新模型：abliteratedAI 评分1717 mradermacher 发布 Spark-X2.6-4B-Tema_Q 量化版 GGUF
Hugging Face 上架了 Spark-X2.6-4B-Tema_Q 的 abliterated 版静态量化 GGUF 模型，由 mradermacher 发布。该模型目前未部署到任何 Inference Provider，下载量也未被统计，用户如需推理托管可向平台申请支持。
Hugging Face · 新模型：abliteratedAI 评分2626 Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ 量化模型上线 Hugging Face
Hugging Face 上可用 nchapman 发布的 Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ，这是一个 abliterated 版的千问（Qwen3.6）多模态模型 W4A16 GPTQ 量化版本。页面给出用 Transformers、vLLM、SGLang 加载或部署的代码示例，三者均支持 OpenAI 兼容 API，也可通过 Docker Model Runner 运行。
Hugging Face · 新模型：abliteratedAI 评分1919 
mradermacher 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化版本
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型，提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供，使用方法可参考 TheBloke 的 README 说明。
Hugging Face · 新模型：abliteratedAI 评分2020 privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版（约 16.8 GB），打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B，由 huihui-ai 移除了拒绝回答行为，附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入，采用 Apache-2.0 许可证。
Hugging Face · 新模型：abliteratedAI 评分3030 prithivMLmods/Qwen3.8-27B-abliterated-MTP-GGUF 模型上线 Hugging Face
prithivMLmods 在 Hugging Face 发布 Qwen3.8-27B-abliterated-MTP-GGUF 模型，提供 BF16 量化版本。该模型为图像-文本到文本的多模态模型，可在 Transformers、llama.cpp、vLLM、SGLang、Ollama 等多种框架中加载运行，并支持通过 OpenAI 兼容 API 进行本地部署和调用。
Hugging Face · 新模型：abliterated精选AI 评分6868 Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF：把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式，并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上，带草稿头的文件达 69.3 tok/s，无头版本 50.8 tok/s；困惑度 8.2894 优于 2.125-bit 版的 8.4593，MMLU 76.07%、HumanEval pass@1 75.00%，重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由：作者不仅重打包了消融权重，还给出困惑度、tok/s 和 MMLU 等前后对照数据，可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
Hugging Face · 新模型：abliteratedAI 评分2121 Hugging Face 上架 SOMEHOTMEAL/LFM2.5-24B-A2B-abliterated 模型
SOMEHOTMEAL 发布的 LFM2.5-24B-A2B-abliterated 模型已上线 Hugging Face，参数规模 24B，提供 Safetensors 格式及 F32、BF16 张量类型。该模型暂无模型卡，也未部署到任何 Inference Provider，目前无下载数据。
Hugging Face · 新模型：abliteratedAI 评分1818 mradermacher 发布 Rice-Cracker-Qwen3.5-0.8B-Abliterated-Base 的 GGUF 量化版本
mradermacher 在 Hugging Face 上发布了 Rice-Cracker-Qwen3.5-0.8B-Abliterated-Base 的 GGUF static quants 量化版本。该模型目前未被任何 Inference Provider 部署，下载量未被追踪。
Hugging Face · 新模型：abliteratedAI 评分1616 AvaSiG 发布 abliterated 版 Qwen2.5-7B 模型
Hugging Face 上架了 AvaSiG/qwen2.5-7b-abliterated-argos，一个基于 Qwen2.5 的 abliterated 去应答化模型。模型为 F16 精度、8B 参数，采用 Safetensors 格式，未提供 model card，尚未部署任何 Inference Provider，也未统计下载量。
Hugging Face · 新模型：abliterated精选AI 评分5454 Ternary-Bonsai-2-27B 无对齐 GGUF 发布，MTP 头重量化后可跑进 8GB 显存
作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF，在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0（430.41 MiB）重量化为 Q4_0（227.91 MiB），使组合能在 8GB 显卡上运行，实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致，仅 blk.64.* 不同；因 MTP 头只是草稿、输出由主模型验证，困惑度 8.4593 与无头版本 8.4557 在测量误差内，200 个贪心 token 零分歧。
推荐理由：作者给出逐字节校验和 RTX 3070 8GB 实测数据，说明把 MTP 头降到 Q4_0 后为何不损失输出质量。
Hugging Face · 新模型：abliteratedAI 评分1818 dan9070 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 量化模型（IQ3_S/Q8PLE）
dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE，提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行，支持 OpenAI 兼容服务器与终端推理，并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。
Hugging Face · 新模型：abliteratedAI 评分3737 Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3 量化分支发布
Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3，基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量，保留路由专家、视觉与 MTP，替换 18 个注意力输出 B 和 18 个共享专家下投影（Q8_0 解码为 F16）。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支，实测移植后上下文 129,996 至 1,046,999，各分支按 1M 窗口配置，测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。