Qwen3.8-Flash-Next 无对齐量化版发布:4-bit 专家码本 + int8 主干
StillDeadcode 发布 Qwen3.8-Flash-Next 的无对齐版本,消融了原模型的拒绝方向,打包为单一 .rad 容器用于 radiance 推理引擎(AMD RDNA4、ROCm)。
推荐理由:模型卡不仅宣布去对齐,还给出与 bf16 原始权重的全词表 KL 散度和 top-1 一致率数据,可据此评估量化误差。
新闻、仓库与研究,按时间排列。
StillDeadcode 发布 Qwen3.8-Flash-Next 的无对齐版本,消融了原模型的拒绝方向,打包为单一 .rad 容器用于 radiance 推理引擎(AMD RDNA4、ROCm)。
推荐理由:模型卡不仅宣布去对齐,还给出与 bf16 原始权重的全词表 KL 散度和 top-1 一致率数据,可据此评估量化误差。
huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF 制作并发布 abliterated 去审查版 GGUF 模型,整个消融过程完全使用 llama.cpp 完成,不依赖 Transformers。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF,仅对 22 至 52 层(0 起始索引)做消融,其余层保持原样。
orcarouter 在 Hugging Face 放出 Qwen3.8-Flash-Next 的去对齐(abliterated)GGUF 量化版本,覆盖 2-bit 到 8-bit,供 llama.cpp 运行。
推荐理由:原文给出消融后拒绝率从64-100%降到约0-3.3%、能力与基线差±2分以内的实测数据,并说明各量化的取舍。
Hugging Face 用户 yomie4343 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX Sushi 混合 3/4/8bit(group size 64)加 BF16 SSD Ngram 仓库,全部 115 个文件经哈希校验完成上传,总大小约 156.93GiB,其中 ngram_table.bin 单文件 102.4GB。
HauhauCS 基于 Qwen3.5-4B 推出去审查的 Aggressive 变体,在 0/465 拒答测试下完全去除拒绝回复且不损失原始能力,提供 BF16(7.9 GB)至 Q4_K_M(2.6 GB)多种 GGUF 量化。
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。
推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。
发布 Swift-Qwen3.8-27B 的 abliterated 无对齐版本,采用 orcarouter/Qwen3.8-27B-Uncensored 的单方向拒绝消融方法,从权重差异中恢复拒绝方向后投影到 Swift 的 131 个张量。
推荐理由:原文给出拒绝率与 KL 散度的前后对照数据,以及恢复拒绝方向并投影到 Swift 权重的完整方法,可复现性较强。
Hugging Face 提供 abliterated 版 GLM-5.3-Flash 的 GGUF 量化模型(如 UD-Q4_K_XL)的多框架使用方法,涵盖 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等部署方式,并给出 OpenAI 兼容 API 的本地服务器启动与调用示例。
minas2025 基于 Gemma 4 E2B 的 Heretic-abliterated 版本发布对话向微调模型,经 1,000 步 QLoRA 训练并量化为 GGUF,Q8_0 文件约 5.1 GB,可在 llama.cpp、LM Studio、KoboldCpp 等本地运行。
Pwdz-2 Abliterated 基于 GLM-5.3-Flash 架构的 320B 级稀疏 MoE 模型,通过权重空间消融移除拒绝行为,保留完整推理与指令遵循能力。
xtonousou 在 Hugging Face 上发布 Qwen3.6-Deckard-40B-Uncensored,将 Qwen 3.6 27B 稠密扩展至 40B 参数,先经 Heretic 完全去审查,再用 Deckard/PDK 数据集和 Claude 4.6 Opus 蒸馏数据经 Unsloth 训练。
huihui-ai 基于 Qwen/Qwen3.5-27B 通过 abliteration 技术去除拒绝回复,发布无审查版本 Huihui-Qwen3.5-27B-abliterated,属于概念验证实现,不依赖 TransformerLens。
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本,量化为 EXL3 2.9bpw,约 197 GiB,可在两台 DGX Spark (GB10) 上以 TP=2 部署。
推荐理由:原文给出 HarmBench 拒绝率与 MMLU 全量对比,量化了能力损失集中在伦理子集,读者可自行评估取舍。
xannie1 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,在 trohrbaugh 的 heretic-ara 基础上追加两轮全权重 ARA 消融,有害提示拒绝率从 3/100 降至 0-1/100,KL 损伤从 0.0535 降到 0.0085。
推荐理由:原文给出两轮 ARA 消融后的拒绝率与 KL 前后对比数据,并附各量化的 PPL 和 MTP 实测速度,便于按硬件选文件。
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
xCloudinfo(云碩科技)发布 Granite-4.2-30B-xVITA-zhTW-Uncensored,基于台湾繁中微调版 Granite-4.2-30B-xVITA-zhTW(底座 ibm-granite/granite-4.2-30b)。
推荐理由:原文给出拒绝方向消除方法与去审查前后的拒答率和能力对照数据,读者可据此评估这个繁中去审查版本的实际代价。
Hugging Face 上发布 huihui-ai abliterated 版 Ternary-Bonsai 的 NInfer 格式重打包,将去安全化的 Qwen3.8-27B 权重封装为单文件 .ninfer 容器,供 NInfer 引擎读取 t2_g128_fp16 三元表示。
drowzeys 在 Hugging Face 发布基于 zai-org/GLM-5.3 的 abliterated 量化版本 keys-GLM-5.3-EXL3-2.75BPW-Abliterated。
推荐理由:原文给出 Blackfrost 消融张量的重编码位置与 32 项拒绝率实测数据,可据此判断这个 abliterated 版本改动范围和去对齐程度。
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由:作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据,并附各量化档位与 Qwen 官方模型的基准对比,可核验其宣称。
OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF,将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB,PPL 仅 +0.80%,Top-1 agreement 94.4%,mean KLD 0.020。
推荐理由:原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据,可据此评估这类高压缩权重的保真程度。
abenzerps 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M(4.60 GB)以平衡体积与质量。
Reddit 用户发现 strata-swift-iq3_xxs 在清理冗余代码的子任务中,推理过程随机插入李光耀的百科式介绍等完全无关信息。该用户此前在 5070ti 上使用 Qwen3.8-27b-iq4xs,称 strata-swift-iq3_xxs 带来约 2~3x 性能提升。帖子询问 LLM Psychopathology 未来是否会成为研究方向。
SC117(0xSojalSec)在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF,通过对已量化模型直接移植张量来移除拒绝方向:48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重,其余 1079 个张量逐字节不变。
推荐理由:原文给出逐张量 blake2b 校验和体积、速度代价核算,展示了在已量化模型上做消融移植而不重算张量的完整流程。
作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny(8B总参/约1B激活MoE)abliterated版本,提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测,拒绝率从思考关闭43/44、开启44/44降至11/44、12/44;思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型,不增加任何知识,且思考与非思考路径的拒绝均被去除;方向性消融共修改1692个张量,集中在第8至23层。
推荐理由:作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据,读者可以自己判断这个去对齐版本的实际效果。
StillDeadcode 发布 Qwen3.8-27B Uncensored FP8 模型,移除原模型的安全对齐(abliterated refusal direction),打包为单个 .rad 容器供 radiance 推理引擎使用,文件大小 29.43 GiB。该模型合并了 z-lab/Qwen3.8-27B-DFlash2 块扩散 drafter 用于投机解码,草稿经验证后不改变输出;附带 27 块 bf16 视觉塔,支持图像和视频输入。上下文训练长度 262,144 tokens、实测 200K,在 2× Radeon AI PRO R9700 上构建测试,服务器兼容 OpenAI API。
HauhauCS 发布 Qwen3.8-27B-Uncensored-Aggressive 的 imatrix 优化 NVFP4 量化版本(Q5_NVFP4),体积从 Q5_K_P 源文件的 18.83 GiB(5.92 BPW)降至 14.74 GiB(4.63 BPW),约缩小 22%。该版本保留了原生 MTP/NextN 头、视觉能力和完整 Aggressive 去审查配置,LM head(output.weight)首次做了 imatrix 优化。模型针对 Blackwell(sm_120)GPU 原生加速构建,但文件为标准 GGUF,可在任意当前 llama.cpp 版本上加载。
ericmey 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 GPTQ-Int4(sym, G128)量化版,附带 BF16 MTP 草稿张量与 F16 视觉塔,约 19 GB,面向 vLLM Intel Arc XPU 部署,也可加载于 CUDA。
johnonegram 在 Hugging Face 发布 Offender_3.8_27B_Abliterated,基于 medismera/Qwen3.8-27B-Surgical-Abliterated 持续微调的 27B 多模态安全推理模型,总参数 26.89B,原生上下文 262,144 tokens(256K),采用 FP8 量化,磁盘占用约 26.9 GB。
shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版,采用 IQ2_XXS 与 Q2_K 混合量化配方,文件 89.88 GiB、含 1,412 个张量,省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测,解码速度中位数 11.13 tokens/s,有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过;作者明确说明 abliteration 只针对拒绝行为,不代表能力提升,Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。
推荐理由:这是一次量化转换加实测记录,作者给出了具体推理速度、质量测试结果和明确的未验证范围,便于读者自行评估可用性。
mradermacher 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 imatrix 加权量化 GGUF 版本,提供从 i1-Q2_K(13.3GB)到 i1-Q6_K(29.3GB)的多种规格,其中 i1-Q4_K_S 被标注为尺寸、速度与质量的最佳平衡,i1-Q4_K_M 快速且推荐。静态量化存放在另一仓库,mmproj 文件也在该静态仓库中。
Hugging Face 上线 Sica-Quants-1 发布的 Qwen-Image-2.1-Uncensored-GGUF 模型。该模型基于 7B 参数架构,提供 4-bit、5-bit、6-bit、8-bit 和 16-bit 多种量化版本,暂未附带模型卡片,上月下载量尚未统计。
vaultai 发布 Qwen3.8-27B-Uncensored-MLX,通过 abliteration(对拒绝方向做正交化)移除安全对齐,并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997,视觉和 262K 上下文保留;2-bit 生成严重退化仅供存档。仓库已门控,附 mlx-vlm、LM Studio 和 MTP 投机解码用法。
推荐理由:发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测,读者可以据此评估每个档位是否可用。
musiccat0405 在 Hugging Face 发布 gemma-3-1b-it-heretic-extreme-uncensored-abliterated,用 Heretic v1.0.1 消融,拒绝率 3/100,KL 散度 0.33,原版 Gemma 1B-IT 拒绝率为 99/100。作者注明本次以更低拒绝率为优先目标,并给出 KL 散度更低(0.09)但拒绝率 17/100 的替代版本链接;还说明该模型不拒绝请求但部分情况需额外指令引导,并附 KoboldCpp、text-generation-webui、SillyTavern 的 smoothing_factor 等采样参数建议。
推荐理由:原文给出了 Heretic 消融前后的拒绝率与 KL 散度数据,读者可以具体对比这个去对齐版本去掉了多少、损伤多大。
SlickPulla 在 trohrbaugh/Qwen3.8-27B-heretic-ara 基础上再做两遍 ARA 消融,发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,有害提示拒绝率从 3/100 降到 0–1/100,KL 损伤从 0.0535 降到 0.0085。全部 53 个 RVN 文件内嵌官方 Qwen3.8 chat template,每个量化都附带嵌入 MTP 草稿头的孪生文件,128 token 实测平均提速约 55%,仅 IQ1_M 反而慢约 60%,IQ1_S 只提升约 4%,文档还按 8 GB 到 64 GB 显存给出了推荐文件。
fyb1214 将 huihui-ai 的 Huihui-Qwen3.8-27B Abliterated Swift-1.5 GSQ-RCO GGUF 系列重新打包为 NInfer 引擎可用的单文件 .ninfer 容器,共发布 IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S 四个量化档位,文件从 8.76 GiB 到 11.91 GiB 不等,其中 IQ3_S 档需要 16 GB 以上显存或卸载。该仓库仅做格式转换,abliteration(第 22–52 层去拒绝方向消融)由 huihui-ai 完成,文本塔无重新量化或再训练。模型仅在 Hugging Face 发布,安全过滤大幅降低,仅建议用于研究和受控环境。
vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版(oQ4e,173 GiB,35 个分片),基于 Blackfrost-Research 的去对齐 BF16 权重,面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成,Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%(4/300),本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证,M3 Ultra(256 GB)实测短上下文 DFlash2 解码最高 51.2 tok/s,附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。
推荐理由:模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据,读者可以对照判断量化后的行为和性能。
nyaaorick 在 Hugging Face 发布 Qwen3.8-27B-Uncensored 的 MLX 3-bit 混合精度量化版本,面向 Apple Silicon,磁盘占用 9.82 GB,平均每位权重 2.915 bit,短提示峰值内存约 10.5 GB。
dealignai 在 Hugging Face 发布 GLM-5.3-UNCENSORED-FP8,对 GLM-5.3-FP8(基于 zai-org/GLM-5.3,753B、78 层、text-only 的 glm_moe_dsa 架构)做权重级去对齐:仅修改 bf16 residual-writer 张量,FP8 专家路由不变,无微调、无 LoRA、无运行时钩子。
bjivanovich 在 Hugging Face 发布 Qwen3.8-27B-Uncensored-Cyber 的自定义 ATX GGUF 量化版本,在 blk.64 内嵌 MTP 草稿头,面向渗透测试、漏洞审计等进攻性安全与代码推理场景。