jingamin 发布 OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf 量化模型
jingamin 在 Hugging Face 上架 OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf 量化模型,提供 Q5_1 等版本。
新闻、仓库与研究,按时间排列。
jingamin 在 Hugging Face 上架 OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf 量化模型,提供 Q5_1 等版本。
Lygodactylus 在 Hugging Face 上传了 Qwen3.8-27B-Uncensored 的 exl3 5bpw 量化模型,采用 Safetensors 格式,模型规模为 10B 参数,张量类型为 BF16、F16、I16。该模型目前没有模型卡,也未部署到任何 Inference Provider,用户可申请提供推理支持。
jingamin 在 Hugging Face 上发布 abliterated 去审查版 GPT-oss-20b 的 GGUF 量化模型,提供 Q5_1 等量化版本。该模型可通过 llama.cpp 本地运行,支持启动 OpenAI 兼容服务器和终端推理,也可在 Ollama、LM Studio、Docker Model Runner、Lemonade 等工具中使用。
Hugging Face 上架 jingamin/OpenAI-36B-Brains20x-Uncensored-IQ4_NL.gguf 量化模型(IQ4_NL)。该模型为 36B 参数的无审查版本,可通过 llama.cpp 的 llama serve 或 llama cli 直接加载,支持本地 OpenAI 兼容服务器、终端推理、预编译二进制、源码编译及 Docker 运行。
Hugging Face 上架 jingamin/OpenAI-gpt-oss-20B-GPT5.1-5.2-DISTILL-Heretic-Uncensored-MXFP4.i1-Q5_K_M.gguf 模型,为 gpt-oss-20B 的无审查蒸馏量化版本。
Hugging Face 上架 jingamin/OpenAI-20B-NEOPlus-Uncensored-Q5_1.gguf:Q5_1 量化模型,提供 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式。
huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版本,以 GGUF 格式提供,仅对部分层(如 22 至 52 层)做 abliteration 处理,其余层保持不变,并推出 Swift、Ternary、GSQ-RCO、UD-DW 等多个系列。
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。
kacakto 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。
huihui-ai 基于 Aleph-Alpha/Kolibri-1 制作了去审查(abliterated)版本,完全用 llama.cpp 的 GGUF 完成,不依赖 Transformers。
QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。
独立贡献者 princepppp 发布了 google/gemma-4-E2B-it 的去对齐版本 gemma-4-E2B-it-ultra-uncensored-heretic 的 GGUF 量化,使用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法,消融 attn.o_proj 组件(层 17-24)。
推荐理由:作者给出了拒绝率、KL 散度和 MMLU 前后对比,可据此判断这个去对齐版本去掉了多少、损失了多少。
Kitani 在 Hugging Face 发布 GLM-5.3-UNCENSORED 的 MXFP4 量化版本,基于 dealignai/GLM-5.3-UNCENSORED-FP8 做 FP8→MXFP4 再量化,未做额外训练。
HauhauCS 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF,实测拒绝率 0/465,主打直接回答、无拒绝行为和最少前导语。
推荐理由:原文给出 0/465 拒绝率实测和各量化的 FastMTP 加速数据,读者可据此判断这个 Aggressive 去对齐版本的实际表现。
TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF,提供常规与 MTP 两种 NEO imatrix GGUF 量化。
推荐理由:原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及 8bit/4bit 下 ARC-C 等基准对比,可据此评估这个去对齐微调的实际效果。
Hugging Face 上线的 Gemma-The-Writer-N-Restless-Quill-10B-Uncensored-GGUF 是基于 Gemma2 的四个 EQBench 高分写作模型合并的无审查创意写作模型,经 Brainstorm 5x adapter 修改后达 10B 参数、46 层、508 tensors。
Hugging Face 用户 daddysteven 发布 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M 以平衡体积与质量。
huihui-ai 的 Qwen3-Coder-Next-abliterated 模型现提供基于 llama.cpp b7966 的 imatrix GGUF 量化版本,涵盖 Q8_0(84.81GB)到 IQ1_M(17.19GB)共 26 种规格,其中 Q4_K_M(48.56GB)等多档被标注为推荐。
Hugging Face 上发布 GLM-4.7-Flash 的去审查(Heretic)GGUF 量化版,基于 30B-A3B MoE 架构,激活约 2B 参数,可在 GPU 或 CPU 上运行。量化采用 NEO 与 Code 双 Imatrix 增强,输出张量使用 16 位全精度,模型支持最高 200k 上下文(非 RoPE),推荐最低 8k-16k 上下文。
greglechin 发布 ajgazin/Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 AWQ W4A16 非对称 g128 量化版(19 GB)。
推荐理由:作者用 GPQA-Diamond 逐题对比证明该 AWQ 配方不像此前 GPTQ 那样拉长推理长度,分数差异均在噪声内。
基于 Qwen/Qwen3.6-27B 的去审查(abliterated)版本已在 Hugging Face 上发布,采用 AWQ 量化并支持 MTP 投机解码。在单张 A800 80GB 上配合 vLLM 0.21.0、MTP 与 fp8 KV cache 可达 110+ tok/s,支持 65536 上下文长度。该模型大幅削减安全过滤,建议仅用于研究或受控环境。
Hugging Face 上线 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16、FP8、Q4_K_M 等多种格式,文件大小从 4.15 GB 到 14.23 GB 不等,推荐 Q4_K_M 以平衡体积与质量。
BoldingBuilds 发布 BAAI AREX-2(基于 Qwen3.8 的 27B agent 微调)的去对齐 GGUF 版本,将拒绝方向从 64 个权重张量(第 8-39 块)投影移除。
推荐理由:作者给出了拒绝率、工具调用和 KL 位移的实测数据,可以据此判断这次去对齐改动到底动了什么、代价多大。
一篇 arXiv 论文(arXiv:2610.06479,EMNLP 2026 主会)提出 Behavior-Preserving KV Cache Compression,一种免训练的 KV cache 压缩框架。
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee,参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征,分别训练文本侧与解码器后拼接,并量化为 int8;int8 版本仅 8.5 MB,单 CPU 线程下 25 倍实时速度,UTMOS 得分 4.41(教师为 4.52)。
推荐理由:论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程,方法无需对齐学习,可在单 CPU 上复现部署。
Magnarks 在 Hugging Face 上发布基于 google/gemma-4-12B-it 的 abliterated 去审查微调模型 gemma-4-12B-it-abliterated-uncensored-nvfp4,采用 nvfp4 量化。
arXiv 论文发现,长时运行 Agent 在滚动更新文档窗口时,非前缀 KV-cache 复用具有历史敏感性:相同提示词可能因此前处理的请求顺序不同而产生不同答案。
arXiv 论文 2610.05685 提出 BreadthKV,研究长链式推理(CoT)解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由:论文用 60 题端到端校准决定位宽分配,并给出 AIME 上 91% 对 40% 的触顶率对比,方法与数据都可复现。
Nylonek 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16、FP8、Q8_0、Q6_K、Q4_K_M 等多种格式,文件大小从 4.15 GB 到 14.23 GB 不等,推荐兼顾体积与质量的 Q4_K_M。
Brunobkr 在 Hugging Face 发布 OFFFELLIA_Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored 的 GGUF 版本。
spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版,把 yamz-labs 的运行时去审查编辑直接烘焙进权重,使其在任意 llama.cpp 运行时无需特殊引擎即可生效。
推荐理由:原文给出了拒绝率前后对比和量化损失数据,读者可以据此判断这个去对齐版本到底去掉了多少、代价多大。
slider-meister-pub 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 的 IQ3_S GGUF 量化,总大小 83.74 GB(约 3.79 bpw),补上上游缺失的 IQ3_S 档位。
推荐理由:原文给出量化构建细节和消融前后拒绝率对比,硬拒绝从98/100降到0,读者可据此评估这个低比特去对齐版本。
minas2025 基于 Gemma 4 E2B(约 4.6B)的 uncensored 版本微调出 Coder-Gemma-4-E2B-Uncensored,专注 Python 与 React/TypeScript/HTML/CSS 前端开发,采用 QLoRA 4-bit 训练,上下文 2048,提供 Q8_0 GGUF(约 5.0 GB)。
Hugging Face 上架了 Beached89 发布的 abliterated 版模型仓库 Qwen3.8-27B-Q3_K_XL-abliterated,为 Q3_K_XL 量化版本。该模型目前未被任何 Inference Provider 部署,也不统计下载量,README 为空。
cvgro 基于 meta-models/Muse-Glimmer-30B 使用 Heretic v2.0.0.dev0 的 Abliteration 参数制作出去审查版 GGUF 模型。
社区用户将 thirdeyeai/Qwen2.5-1.5B-Instruct-uncensored 转换为 LiteRT-LM(.litertlm)格式,可在 Android 与桌面端通过 Google AI Edge LiteRT-LM / MediaPipe 端侧运行。
HauhauCS 发布的 Qwen3.6-35B-A3B-Uncensored 无审查模型推出 Wasserstein Genesis-V2 更新 GGUF 量化版本,支持 MTP,无需重训练即通过数值修复 3 个 ssm_conv1d 层的尺度失配,W1 指标下降约 80%,500 个权重张量中 497 个通过全部检测。
HauhauCS 基于 Qwen3.6-35B-A3B 推出 Aggressive 无审查量化模型,0/465 拒答率,完全解锁不拒绝提示词。该模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生 262K 上下文,支持文本、图像、视频多模态。
gbuzhf 在 Hugging Face 发布 Occamy-1.0 Abliterated 的四个 Sangreal ICE 量化档位(14.51/18.47/22.52/24.53 GB),基于 SC117 的去对齐 BF16 权重,附带 Qwen-Sharp v22.5.0-arrow.3.1 聊天模板和视觉 mmproj 文件。
推荐理由:作者用同一会话的 KLD 实测把四个 ICE 档位与 SC117 同尺寸量化逐一对照,读者可按文件大小直接选档。