TechPrototyper 发布 Gemma4-31B 6-bit 量化版的原格式去对齐权重
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
新闻、仓库与研究,按时间排列。
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
xCloudinfo(云碩科技)发布 Granite-4.2-30B-xVITA-zhTW-Uncensored,基于台湾繁中微调版 Granite-4.2-30B-xVITA-zhTW(底座 ibm-granite/granite-4.2-30b)。
推荐理由:原文给出拒绝方向消除方法与去审查前后的拒答率和能力对照数据,读者可据此评估这个繁中去审查版本的实际代价。
mradermacher 在 Hugging Face 上发布 Pyrex-8B-Instruct-Uncensored 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-IQ1_S(2.0GB)到 i1-Q6_K(6.4GB)的完整量化列表,其中 Q4_K_M 被标注为快速且推荐,Q4_K_S 兼顾体积、速度与质量。
Hugging Face 上发布 huihui-ai abliterated 版 Ternary-Bonsai 的 NInfer 格式重打包,将去安全化的 Qwen3.8-27B 权重封装为单文件 .ninfer 容器,供 NInfer 引擎读取 t2_g128_fp16 三元表示。
drowzeys 在 Hugging Face 发布基于 zai-org/GLM-5.3 的 abliterated 量化版本 keys-GLM-5.3-EXL3-2.75BPW-Abliterated。
推荐理由:原文给出 Blackfrost 消融张量的重编码位置与 32 项拒绝率实测数据,可据此判断这个 abliterated 版本改动范围和去对齐程度。
NVIDIA 在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,从 Gemma-4-E4B-it 后训练而来,Q4_K_M 量化、总参数 8B(有效 4B),上下文最长 64K tokens,采用 OpenMDW-1.1 许可。模型主打低内存、低 TTFT 的本地语音助手、交互人格和嵌入式接口,支持多轮工具调用、指令遵循、可开关的思考模式与运行时思考预算,可搭配 DFlash drafter 做投机解码,llama.cpp 部署,10/23/2026 GA。
推荐理由:官方给出了 BF16 与 Q4_K_M 两档精度、多组同类小模型的同基准横向对比数据,读者可直接核对这个 4GB 级小模型的实际水平。
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由:作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据,并附各量化档位与 Qwen 官方模型的基准对比,可核验其宣称。
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重,提供 2.50 至 3.50 bpw 四个档位及 BF16 视觉投影器。
推荐理由:仓库给出各量化档位与 Unsloth Dynamic 的完整基准对比,并附可审计的逐张量分配文件,读者可据此评估是否采用。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版 GGUF 权重,通过移除一半路由专家并将剩余权重存为 3.5 bpw,使 176.9B 参数模型的常驻显存从 354 GB 降至 29.6 GB,可装入单张 32 GB 加速卡。
推荐理由:原文给出压缩方法细节与 SWE-bench、LiveCodeBench 前后对比,读者可据此评估专家剪枝加量化的实际代价。
Infatoshi 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 ExLlamaV3 EXL3 3.0bpw 量化版,总参数 753B,体积 273 GiB,含 MTP 层可用作推测草稿模型。
推荐理由:作者附上了与 FP8 源权重的 KL 散度、困惑度对比和 tau2-bench 实测,还指出 glm4_5 解析器会破坏字符串参数导致工具调用失败。
DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,552B 骨干参数、每 token 预填充激活 8B、解码激活 16B,支持 1M token 上下文,MIT License 开放权重。
推荐理由:原文给出CED架构与CSA2等KV cache压缩设计细节,并附同框架基准分数,读者可自行对比它与V4-Flash及前沿模型的性价比。
FermionResearch 在 Hugging Face 发布 Phonon-2,称其为 900 MB 以下英文识别最准确的开源模型,在 Open ASR Leaderboard 七个英文测试集上平均词错率 5.21%,164 MB 体积达到 2.5 GB 教师模型 parakeet-tdt-0.6b-v3 的精度,编码器每个权重以约 2.1 bit 存储。
推荐理由:原文给出七套英文测试集的平均词错率和多平台实时率数据,可以据此比较小体积语音识别模型之间的实际精度差距。
Prism ML 在 Hugging Face 发布 Ternary-Bonsai-2-27B-gguf,将 Qwen3.8-27B 转为三值权重(1.72 bits/weight),语言模型体积从约 54 GB FP16 降至 5.95 GB(PTQ1_0)或 7.21 GB(PQ2_0)。
推荐理由:原文给出三值权重格式、14 项基准对比和跨平台吞吐数据,读者可以据此评估 1.72 bits/weight 量化在本地部署中的实际取舍。
OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF,将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB,PPL 仅 +0.80%,Top-1 agreement 94.4%,mean KLD 0.020。
推荐理由:原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据,可据此评估这类高压缩权重的保真程度。
Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo,以 LoRA 形式实现 6 步生成替代 40 步,无需 CFG,端到端约快 5 倍,质量与基座接近。
推荐理由:原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板,读者可据此判断该 LoRA 是否适合自己的部署场景。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF,提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档及多模态 mmproj 文件。
推荐理由:原文给出四个量化档位的实测跑分、吞吐与显存占用数据,读者可按内存预算与质量需求直接选型。
Venastine-Research 在 Hugging Face 发布 Xing4.0-29B-A4B 的 GGUF 权重与配置文件。
推荐理由:该 GGUF 仓库提供了 Xing4.0-29B-A4B 的权重与配置,兼容 vLLM、SGLang 等主流推理框架,部署参考价值具体。
Lightricks 在 Hugging Face 开放 LTX-2.5 权重,这是一个可本地执行与微调的开放世界模型,可从文本、图像和视频输入生成同步的高保真视频与音频。
推荐理由:官方模型卡完整列出了各组件权重文件、量化变体与运行约束,读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。
abenzerps 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M(4.60 GB)以平衡体积与质量。
axi0mX 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-GGUF 模型,默认量化版本为 Q5_K_XL。模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行,llama.cpp 还提供带 Web UI 的 OpenAI 兼容本地服务器,也可接入 Pi、Hermes Agent、OpenClaw 等 Agent 工具使用。
hmkle 在 Hugging Face 发布 Qwen3.5-4B Abliterated 的静态 GGUF 量化版本,提供从 Q2_K 到 Q8_0 及 f16 的多种规格,大小从 1.9GB 到 8.5GB 不等。其中 Q4_K_S 和 Q4_K_M 标注为快速推荐选项,Q8_0 质量最佳,并附带 mmproj 多模态补充文件;weighted/imatrix 量化可另行获取。
AEON-7 将其无审查版 Qwen3.8-27B 量化为 OCP Microscaling 格式以适配 AMD GPU:MLP 用 MXFP4、Gated DeltaNet 投影用 MXFP6,其余保持 BF16,checkpoint 为 23.7 GB(BF16 原版 55.6 GB),支持 262,144 token 原生上下文。
SC117(0xSojalSec)在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF,通过对已量化模型直接移植张量来移除拒绝方向:48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重,其余 1079 个张量逐字节不变。
推荐理由:原文给出逐张量 blake2b 校验和体积、速度代价核算,展示了在已量化模型上做消融移植而不重算张量的完整流程。
用户 laazuri 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供 BF16 到 Q4_0 等多种量化文件,体积从 14.23 GB 到 4.15 GB 不等,其中 Q4_K_M 被推荐为体积与质量的最佳平衡。仓库同时打包 ComfyUI 所需的 text encoder(qwen3vl_8b)和 VAE 配套文件,需配合 leejet 的 ComfyUI-GGUF fork 使用。该版本无内置安全检查器或内容过滤,可直接生成成人及 NSFW 内容,采用 Qwen Research License 授权。
作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny(8B总参/约1B激活MoE)abliterated版本,提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测,拒绝率从思考关闭43/44、开启44/44降至11/44、12/44;思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型,不增加任何知识,且思考与非思考路径的拒绝均被去除;方向性消融共修改1692个张量,集中在第8至23层。
推荐理由:作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据,读者可以自己判断这个去对齐版本的实际效果。
Anotos 将 huihui-ai 的 abliterated(去审查)版 Liquid AI LFM2 8B-A1B 转换为 MLX 4-bit 量化模型,面向 Apple Silicon。该模型为 MoE 架构,总参数 8.3B、每 token 激活约 1.5B,文件 4.69 GB,专家路由门控保留 8 bit,需 mlx-swift-lm 3.31.4 及以上版本。模型已移除安全护栏,不内置入 Erato 应用,需手动添加,采用 LFM Open License v1.0 许可。
root4k 在 Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 oQ4e-mtp 量化版本,采用 oQ(oMLX v0.7.0)混合精度量化。模型类型为 qwen4_exp,4 bit、group size 64,格式为 MLX safetensors。
Dacheng-cn 基于 OrcaRouter 源模型的原始 BF16 权重重新量化出 Qwen3.8-27B-Uncensored oQ8e FP16 版本,权重约 30.92 GB,保留 MTP 的 29 个 Tensor,在 M1 Ultra 上使用 oMLX 0.7.0 正式版测试。
StillDeadcode 发布 Qwen3.8-27B Uncensored FP8 模型,移除原模型的安全对齐(abliterated refusal direction),打包为单个 .rad 容器供 radiance 推理引擎使用,文件大小 29.43 GiB。该模型合并了 z-lab/Qwen3.8-27B-DFlash2 块扩散 drafter 用于投机解码,草稿经验证后不改变输出;附带 27 块 bf16 视觉塔,支持图像和视频输入。上下文训练长度 262,144 tokens、实测 200K,在 2× Radeon AI PRO R9700 上构建测试,服务器兼容 OpenAI API。
fyb1214 将 huihui-ai 的 abliterated Ternary-Bonsai-2-27B(消融第 22–52 层)重新封装为 NInfer 引擎可读的单文件 .ninfer 容器,基于 f16 版本用量化器重制 PQ2_0 与 PTQ1_0 两种打包,各 6.87 GiB,类型分布与 PrismML 原版 PQ2_0 一致。
HauhauCS 发布 Qwen3.8-27B-Uncensored-Aggressive 的 imatrix 优化 NVFP4 量化版本(Q5_NVFP4),体积从 Q5_K_P 源文件的 18.83 GiB(5.92 BPW)降至 14.74 GiB(4.63 BPW),约缩小 22%。该版本保留了原生 MTP/NextN 头、视觉能力和完整 Aggressive 去审查配置,LM head(output.weight)首次做了 imatrix 优化。模型针对 Blackwell(sm_120)GPU 原生加速构建,但文件为标准 GGUF,可在任意当前 llama.cpp 版本上加载。
ericmey 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 GPTQ-Int4(sym, G128)量化版,附带 BF16 MTP 草稿张量与 F16 视觉塔,约 19 GB,面向 vLLM Intel Arc XPU 部署,也可加载于 CUDA。
shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版,采用 IQ2_XXS 与 Q2_K 混合量化配方,文件 89.88 GiB、含 1,412 个张量,省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测,解码速度中位数 11.13 tokens/s,有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过;作者明确说明 abliteration 只针对拒绝行为,不代表能力提升,Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。
推荐理由:这是一次量化转换加实测记录,作者给出了具体推理速度、质量测试结果和明确的未验证范围,便于读者自行评估可用性。
4B 参数的无审查模型 NeoHorse-1-4B-Uncensored-Zero-Refusal-GGUF 以 GGUF 格式(F16)在 Hugging Face 上线。页面提供了 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式的安装与启动命令,也可接入 Pi、Hermes、OpenClaw 等 Agent,或通过 llama.cpp 启动 OpenAI 兼容的本地服务器并附带 Web UI。
Hugging Face 上发布了 Cantina Security 的 Apex Flash 1 Abliterated 的 AWQ 社区量化版,采用 GLM-5.3-Flash 架构,为专家专用 W4A16 量化(对称 INT4,group size 128),保留全部 36,288 个 routed expert projections。模型逻辑参数 313.89B,九个 Safetensors 分片约 176 GB,属实验性发布,已在修补版 GLM-5.3 SM86 vLLM 构建上通过文本生成和结构化 tool-call 冒烟测试,但长上下文、视觉等行为未经验证。上游 abliterated 版本会修改拒绝行为,仅面向获授权研究,采用 MIT 许可证。
Hugging Face 上发布 gpt-oss-120b-Uncensored 的 MXFP4 量化版本,基于 openai/gpt-oss-120b 用 LoRA 微调,移除默认安全过滤与拒绝行为,支持生成成人内容。
mradermacher 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 imatrix 加权量化 GGUF 版本,提供从 i1-Q2_K(13.3GB)到 i1-Q6_K(29.3GB)的多种规格,其中 i1-Q4_K_S 被标注为尺寸、速度与质量的最佳平衡,i1-Q4_K_M 快速且推荐。静态量化存放在另一仓库,mmproj 文件也在该静态仓库中。
Hugging Face 上线 Sica-Quants-1 发布的 Qwen-Image-2.1-Uncensored-GGUF 模型。该模型基于 7B 参数架构,提供 4-bit、5-bit、6-bit、8-bit 和 16-bit 多种量化版本,暂未附带模型卡片,上月下载量尚未统计。
vaultai 发布 Qwen3.8-27B-Uncensored-MLX,通过 abliteration(对拒绝方向做正交化)移除安全对齐,并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997,视觉和 262K 上下文保留;2-bit 生成严重退化仅供存档。仓库已门控,附 mlx-vlm、LM Studio 和 MTP 投机解码用法。
推荐理由:发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测,读者可以据此评估每个档位是否可用。
Hugging Face 用户 LMLiutenant 用 llama.cpp 制作了 abliterated(抑制拒答)版模型 wangzhang/Qwen3.6-35B-A3B-abliterated-v2 的 GGUF 量化,属非官方再分发。该模型为 MoE 架构,总参数 35B、每 token 激活约 3B(256 个专家激活 8 个),上下文长度 262144 tokens。仓库提供 IQ2_XS 到 Q8_0 共 24 种量化,并附 F16 多模态 projector,各量化均基于同一 importance matrix 计算,BF16 源模型 wikitext-2 PPL 为 6.4743。