mradermacher 发布 Spark-X2.6-4B-Tema_Q 量化版 GGUF
Hugging Face 上架了 Spark-X2.6-4B-Tema_Q 的 abliterated 版静态量化 GGUF 模型,由 mradermacher 发布。该模型目前未部署到任何 Inference Provider,下载量也未被统计,用户如需推理托管可向平台申请支持。
新闻、仓库与研究,按时间排列。
Hugging Face 上架了 Spark-X2.6-4B-Tema_Q 的 abliterated 版静态量化 GGUF 模型,由 mradermacher 发布。该模型目前未部署到任何 Inference Provider,下载量也未被统计,用户如需推理托管可向平台申请支持。
mradermacher 在 Hugging Face 上发布 LFM2.5-2.6B-Tema_Q-Abliterated 的 GGUF static quants 量化版本。该模型目前未被任何 Inference Provider 部署,下载量未被追踪。
Hugging Face 上可用 nchapman 发布的 Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ,这是一个 abliterated 版的千问(Qwen3.6)多模态模型 W4A16 GPTQ 量化版本。页面给出用 Transformers、vLLM、SGLang 加载或部署的代码示例,三者均支持 OpenAI 兼容 API,也可通过 Docker Model Runner 运行。
mradermacher 在 Hugging Face 上发布 qwen2.5-3b-abliterated-argos 的 static quants(GGUF 静态量化)版本。该模型暂无下载统计,也未被任何 Inference Provider 部署,用户可申请提供推理支持。
DavidAU 团队基于 Qwen/Qwen3.6-27B 发布多阶段微调与合并的无对齐版本 Qwen3.6-27B-Fable-Fusion-711,用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法去审查,拒绝率从原版的 99/100 降到 4/100,KL 散度 0.0469。
同一新闻,精选展示《tatekuperus 发布 Qwen3.6-27B-Fable-Fusion-711 无对齐 GGUF 量化版》
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 去审查(uncensored)量化版。附带的性能测试显示,EXL3 3.5 配置在并发 1 时生成速度约 129.3 tokens/s、并发 32 时约 480.8 tokens/s,并发 1 的 time_to_content_p50 约 0.39 秒;同测试中 Native MXFP4 在并发 32 达 831.7 tokens/s,NVFP4 target 达 796.1 tokens/s。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.875bpw uncensored 量化版本。附带的性能测试显示,Native MXFP4 在 batch 32 时达到约 831.66 tokens/秒,EXL3 2.875 在 batch 32 为约 452.16 tokens/秒,batch 1 时首 token 延迟约 0.41 秒。量化模型可在 Hugging Face 获取。
dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8,对 GLM-5.3-FP8 做全谱通用权重级去对齐,仅修改 bf16 residual writer 张量,不涉及微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HB-320 非版权行为 TRUE_COMPLY 达 91.7%(off),GARBAGE 降为 0;MMLU 87.43% 较基线 +1.85pp。
fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型,并给出基准测试数据。原生 MXFP4 在单并发下达 146.84 tokens/秒、32 并发下达 831.66 tokens/秒,高于 NVFP4 target 与 EXL3 2.875/3.5 配置;单并发 time_to_content p50 为 0.34 秒。该模型为 uncensored 版本,测试数据已公开。
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型,提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。
na0fu3y 发布 Qwen3.8-Flash-Next-Uncensored 的 mlx-serve iQ-MLX 4.7bpw 量化版,基于 orcarouter 的 abliterated bf16 权重,路由专家为 4-bit、其余多为 8-bit,含 MTP 头和视觉塔,移除安全对齐后可响应原模型拒绝的请求。下载体积 100 GB,无 --ple-gpu 时常驻约 75 GB;在 M3 Ultra 上 decode 速度约 124.3-124.8 tok/s,13 个边缘提示词中仅 1 个被拒绝(对照组为 11 个)。许可证为 Qwen Community License 1.0。
EsteefAi 在 Hugging Face 发布 ttindall 的 Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 镜像,文件与原版逐字节一致(SHA-256 相同),采用 apache-2.0 许可。镜像旨在保证 Philibert 安装可用,支持通过 Ollama 拉取 IQ4_XS 和 Q6_K_P 两种量化版本。
mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本,提供从 Q2_K(0.8GB)到 f16(3.2GB)共 12 种规格,其中 Q4_K_S、Q4_K_M 标注为快速推荐,Q8_0 质量最佳。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。
mradermacher 在 Hugging Face 上发布了 LFM2.5-24B-A2B-abliterated 的 GGUF static quants 量化模型。该模型目前未被任何 Inference Provider 部署,下载量也未被追踪。
atrezonator 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 EfficientThink 无对齐版本,经 SFT 与 SimPO 后训练,拒答评测为 10 类 140 条提示中 4/140(2.9%)。同协议对比显示 SimPO 后 GPQA 升 3.54pp、LCB 升 5pp、MMLU 降 1.80pp;仓库提供 GGUF 六档、NVFP4、INT8-W8A8-QAT、AWQ-W4A16、静态 FP8 等多套量化包及 DFlash2/MTP draft,并附 DGX Spark 与 RTX PRO 6000 上的冻结实测成绩。
推荐理由:原文给出拒答率 4/140 的实测数据和 SimPO 前后 GPQA/MMLU/LCB 对比,读者可据此判断去对齐与能力保留的实际代价。
mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。
Hugging Face 上线 mradermacher 制作的 Ministral-3-8B-Reasoning-UNCENSORED-heretic GGUF 量化版本,该模型为无审查的推理模型。仓库页面显示模型大小约 0.4B 参数、架构为 clip,具体下载量数据暂未提供。
lilcheaty 基于 RecursiveSI/flint 发布权重编辑的去对齐版本 flint-abliterated-GGUF,沿用 Apache 2.0 协议,从 128 条 AdvBench 有害提示与 128 条 Alpaca 无害提示估计拒绝方向并改写权重。实测显示 20 条保留提示上显式拒绝从 20/20 降到 0/20,20 条编码提示双方均 0 拒绝且 40/40 完成回答;作者说明该对比规模小、不构成通用安全或能力基准,运行需应用 llama.cpp PR #30928 的补丁版本。
同一新闻,精选展示《lilcheaty 发布 RecursiveSI/flint 的 abliterated 去对齐权重版》
cinnybun02 在 Hugging Face 发布 Spark-X2.6-4B-Abliterated 的 Q5_K_M GGUF(2.77 GiB),用 llama.cpp 的 gguf_new_metadata.py 仅改元数据,将 Sharp-Spark v1.0.0 模板内置为 tokenizer.chat_template,权重与源文件逐字节一致。该模型为 XHToken 的 4.1B dense thinking model,经 Heretic 去除 53 个张量中的 refusal 方向;spark2_5 架构下 131k 上下文时 KV cache 量化后约 1.9-2.5 GiB。
orcarouter 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 去对齐(abliterated)版的 GGUF 量化权重,提供 Mix-256G(235.8 GB 内存占用)与 Mix-128G(114.0 GB)两种构建,基于 763B 参数 MoE 模型,含 197B 参数 Engram n-gram 表常驻 SSD。去对齐后 500 条有害提示拒绝率加权均值从 0.874 降至 0.074,过度拒绝从 0.069 降至 0.006,MMLU 保持 0.91 左右不变。
推荐理由:原文给出实测 KLD、拒绝率与 MMLU 前后对比,读者可据此判断这个去对齐版本到底去掉了多少、能力是否保留。
论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。
SC117 发布 Spark-X2.6-4B-abliterated 的 FIT-GGUF 量化仓库,基于 XHToken/Spark-X2.6-4B 本地做输入门控消融,100 条留出有害提示的拒绝数从 99 降到 7,3-token 全分布 KL 扰动 0.0477,比同拒绝门槛下无门控的 0.2134 低 78%。仓库含 5 个经 KL 门限验证的 FIT 档位加 BF16 参考文件,五档合计 12.84 GiB,比同门槛下最小原生预设小 0.60 GiB(4.5%),其中两档即原生预设;imatrix 由公开语料重建,评测切片未进入校准文本。
推荐理由:原文给出输入门控消融的拒绝率与 KL 前后对比,以及五档量化相对原生预设的实测差距,可据此评估取舍。
Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示,Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐,1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒,整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored(无审查)版本形式开源在 Hugging Face。
Hugging Face 上线 Comfy-Org/Fibo-2.0,为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件,包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本,文本编码器为 qwen3vl_4b,VAE 为 flux2-vae。权重仅限非商业用途,商用需与 BRIA AI 另行协议。
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署方式,并支持 image-text-to-text 多模态推理。模型可通过 vLLM 或 SGLang 启动服务后以 OpenAI 兼容 API 调用。
论文提出 OnQ,一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线,用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上,OnQ 取得九个基准的最高平均分;2-bit 下在每个模型规模的每个基准都超过所有基线,Qwen3-8B 平均比最强基线提升 10.26 分,且响应更短、截断和重复错误更少。论文链接:https://arxiv.org/abs/2610.29378v1
推荐理由:论文指出现有量化感知训练的固定响应监督缺陷,并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。
cc1244578151 在 Hugging Face 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored GGUF 量化模型,规格为 120B 参数、180B 级 512 专家 MoE(每 token 激活 10 个),并搭载 Turbo Brilliance 50x 系统(27 推理 + 27 instruct 模式,另有 9 个 xhigh)与 15 个 AI Constructs。该版本经 abliterated 去审查处理、无 censorship,支持在提示词、API 或 VLLM 中实时切换模式,可在 12GB 显存 GPU 上运行;实测 46GB 双 GPU + 内存 offload 达 17 t/s,全 GPU offload 达 60-90 t/s。
apetersson 正在上传 DeepSeek V4.1 Flash 1017 Abliterated 的 MLX 版本,为 Apple Silicon 准备的 oQ2.5e 混合精度检查点,共 53 个 Safetensors 分片,包大小约 342.7 GB,尚未完成,需等待 PUBLICATION.json 和 v1-oQ2.5e-mtp 标签发布后再下载。推荐在 256 GiB 统一内存 Mac 上用 oMLX 0.7.2 运行,上下文从 32K 起步,Engram 张量约 114.4 GiB 卸载至本地 SSD;SSD 前缀缓存测试中 8,588 个 token 复用 8,192 个,请求耗时从 14.62 s 降至 1.45 s。
Hugging Face 用户发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance 的 GGUF 量化版,为 180B 参数、512 专家(每 token 激活 10 个)的无审查 abliterated 模型。其 Turbo Brilliance 系统含 27 推理与 27 instruct 模式及 15 个 AI Construct,可在提示词、API 或 VLLM 中即时切换,instruct 模式 0 thinking token;量化由 GSQ-RCO 完成,可在 12GB 显存 GPU 上运行,RTX6000(96GB)估计达 150 t/s。
alexwkleung 用 Heretic 对 XHToken/Spark-X2.6-4B(dense 4.1B 思考模型)做定向消融,发布 abliterated GGUF 权重,并用 llama.cpp 量化出 Q4_K_M 到 Q8_0 多档。与官方 Q8_0 对照:拒绝率从 43/44 降到 0/44(thinking 开与关均如此),GSM8K n=100 为 88/100 对 91/100,McNemar p=0.45 未检出数学回归;代价是思考开启时平均约 5k tokens(stock 529),部分超出 8192 预算,无拒绝系统提示可将其减半。
推荐理由:原文给出与官方 Q8_0 逐位对照的拒绝率、GSM8K 和思考开销数据,可据此判断这个去对齐版本的实际代价。
thelogicalgate 基于 InternScience/Sage-A1.5 发布网络安全向拒绝消融(abliteration)版本,打包为 Apple Silicon 原生 MLX 8-bit 量化并保留原训练的 MoE 多 token 预测(MTP)草稿头。校准使用 mlabonne/harmful_behaviors 与 harmless_alpaca 各 128 条提示,在 8–31 层以强度 0.75 修改 72 个输出投影模块,路由权重与 QKV 投影未改动;12 条非工具冒烟提示中拒绝启发式检出基线 2 次、修改版 0 次,本地 Python 反序列化与 IDOR PoC 由基线拒绝变为可产出脚本。
推荐理由:原文给出了激活校准方向、修改层与拒绝率前后对比等实测细节,读者可据此判断这个去对齐版本的实际改动幅度。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-9B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署的官方用法示例,支持 image-text-to-text 多模态推理,并可通过 OpenAI 兼容 API 调用。
Nefarious1313 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated 的 GGUF 静态量化版本,并提供多模态补充文件 mmproj-Q8_0 与 mmproj-f16。量化档位从 Q2_K(1.9GB)到 f16(8.5GB)共 13 种,其中 Q4_K_S(2.7GB)和 Q4_K_M(2.8GB)速度快、被推荐使用,Q8_0(4.6GB)质量最佳。
DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。实测显示烘焙版拒绝数为 0/100(开发集)与 3/100(保留集),与原 adapter 的 KL 差异约 0.037 nats;散文解码约慢 12%(34.8 vs 39.4 tok/s),代码速度基本持平,需 B12X vLLM 运行时,serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。
推荐理由:原文给出了拒绝率与 KL 的实测对比和单机性能数据,读者可以据此判断这个去对齐版本的实际代价与效果。
theJuice85 在 Hugging Face 发布面向 Qwen3.8-27B-GGUF(Q4_K_XL)的去对齐 LoRA 适配器 heretic-qwen38-t26,用 directional ablation 搜索找到。实测将硬拒绝率从基座的 33-86% 降到约 0,能力评测(AIME24、GPQA、MMLU Pro 等 43 个成对项)未发现可统计的能力损失;仅 2.5 MB,AGPL-3.0-or-later。注意其只评测了拒绝率与能力回归,未评测下游安全性,且系统提示词是必要条件,缺失时模型会以带说教的方式作答。
推荐理由:作者给出成对的拒绝率与能力回归数据,硬拒绝从 33-86% 降到约 0 且能力无可测差异,可据此判断这个去对齐适配器的实际效果。
ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。
prithivMLmods 在 Hugging Face 发布 Qwen3.8-27B-abliterated-MTP-GGUF 模型,提供 BF16 量化版本。该模型为图像-文本到文本的多模态模型,可在 Transformers、llama.cpp、vLLM、SGLang、Ollama 等多种框架中加载运行,并支持通过 OpenAI 兼容 API 进行本地部署和调用。
Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。
推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。