跳到正文
10月26日周一
  1. Hugging Face · 新模型:uncensored24

    tinyopsec 发布 MiniCPM5-2B-Abliterated-Uncensored 的 GGUF 量化版本

    tinyopsec 基于 openbmb/MiniCPM5-2B(Llama 架构,约 2.5B 参数,经 abliterated 去审查处理)制作并发布 GGUF 量化文件,采用 llama.cpp 生成,提供从 F16(5.0 GB)到 Q2_K 共 13 种量化档位,其中 Q4_K_M(4-bit medium)为推荐版本。模型可通过 llama.cpp 及 Ollama、LM Studio 等 GGUF 兼容运行时使用,以 Apache License 2.0 授权。

  2. Hugging Face · 新模型:uncensored36

    Ornith-1.5-122B-UNCENSORED NVFP4 版本发布,可单卡 RTX 5090 运行 Infernix 格式

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出,这是去 refusals 版本的量化模型,基于 Qwen3.5-122B-A10B 架构(48 层、256 个路由专家每层取 top 8),附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配,可在单张 RTX 5090(32 GB)上运行,约需 70 GiB 主机内存和 76 GB 磁盘空间,速度仍待优化测定。

  3. Hugging Face · 新模型:uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored(320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文)的 imatrix GGUF 量化,含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档,并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040(OrcaRouter FP8 为 0.120,base 为 0.930),HumanEval pass@1 0.927;作者指出空输出会计为服从,提醒评测时必须同时报告空输出数,文件已适配 mainline llama.cpp 与 LM Studio 模板。

10月25日周日
  1. Hugging Face · 新模型:abliterated18

    Qwen2.5-7B-Instruct-abliterated-v2 Q4_K_M GGUF 量化版模型使用指南

    Hugging Face 上架 Rasist228 发布的 Qwen2.5-7B-Instruct-abliterated-v2 的 Q4_K_M GGUF 量化版本。该模型可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种工具加载运行,llama.cpp 与 vLLM、SGLang 均支持启动 OpenAI 兼容 API 的本地服务器,也可在 LM Studio、Jan、Pi、Hermes Agent 等应用中使用。

  2. Hugging Face · 新模型:abliterated27

    Flint-40B-A2.5B Abliterated FP8 校准量化版在 Hugging Face 发布

    cbert33 在 Hugging Face 发布 Flint-40B-A2.5B Abliterated 的 FP8 校准量化版本,基于 dima6312/Flint-40B-A2.5B-abliterated,采用 LLM Compressor FP8_DYNAMIC 格式,含 36,439 个量化权重张量、295 个 BF16 保护张量和 98 个校准 BF16 KV scales(覆盖 49 个注意力层)。校准使用 HuggingFaceH4/ultrachat_200k 的 train_sft 前 512 行(543,281 tokens)。该模型仅限研究用途,未经生产验证,端到端生成质量与 benchmark 未测试。

10月24日周六
  1. Hugging Face · 新模型:uncensored36

    GLM-5.3-Flash 去审查版 Maya-L GGUF 量化发布,支持 1M 上下文

    Adolphsson 在 Hugging Face 发布 GLM-5.3-Flash 去审查版的 Maya-L GGUF 量化,基于 dealignai 的 CRACK 去审查 FP8 检查点(原模型 zai-org/GLM-5.3-Flash),仅做量化,保留 MTP 草稿块与视觉 mmproj 文件,上下文 1M tokens,总量 156.3 GB,分 4 个分片,MIT 许可。单张 RTX 5090 实测 1M 上下文 28.5 tok/s,256K 上下文开 MTP 提速约 16%;该版本仅通过功能验证,尚未跑 MMLU 等基准。

  2. Hugging Face · 新模型:abliterated51

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版的校准 11-bit VQ 量化 GGUF

    staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic(DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版)的 106.8 GB 单文件 GGUF,对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化(2048 条码本、65,536 校准 token),Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

  3. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  4. Hugging Face · 新模型:abliterated52

    DeepSeek-V4.1-Flash-1017 abliterated 版发布 106.8 GB 单文件 lecore vq11 校准 GGUF 量化

    staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF,大小 106.8 GB,对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化(2048 码本条目,65,536 校准 token),1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher,2k/16k 上下文困惑度 2.821/2.950,top-1 一致率 80.5%/78.4%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

    同一新闻,精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》

  5. Hugging Face · 新模型:abliterated18

    EsteefAi 镜像发布 gemma-3-4b-it-abliterated-v2 GGUF 模型

    Esteef.Ai 为 Philibert 镜像了 mlabonne 基于 Google Gemma 3 制作的 abliterated 版模型 gemma-3-4b-it-abliterated-v2-GGUF。镜像文件与原版逐字节一致,未做任何修改,其中 q6_k 量化文件的 SHA-256 为 47636d77…。Philibert 在用户请求该模型时通过 `ollama pull hf.co/EsteefAi/gemma-3-4b-it-abliterated-v2-GGUF-mirror` 下载,许可证沿用 Gemma Terms of Use。

  6. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

10月23日周五
  1. Hugging Face · 新模型:abliterated60

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 FP8 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 FP8-DYNAMIC 量化版,体积从 bf16 的 65.8 GB 降到 35.0 GB,KL 0.0134,用 llm-compressor 0.14.0 无校准数据制作。附 NVFP4A16(22.1 GB)和 W4A16(20.5 GB)4-bit 版本,可在 Ampere GPU 上运行。Heretic 评测协议下(关闭思考,100 条有害提示)各版本拒绝数为 20-26/100,差异不显著;原始 ThinkingCap 拒绝 99/100,bf16 去对齐版降至 21/100。

    同一新闻,精选展示《IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重》

  2. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  3. Hugging Face · 新模型:uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本,内置 1,048,576 token 的 YaRN 上下文扩展,内存占用 17.02 GB,可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max,其中 SWE-bench Pro 61.7% 对 53.4%,ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  4. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。

  5. Hugging Face · 新模型:abliterated25

    Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本发布

    Hugging Face 上发布 Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本,由 exllamav3 1.6.4 的 convert.py 生成,decoder 约 4.05 bpw、lm_head 6 bit、MTP 4 bpw,视觉塔保持 bf16 未量化。目录约 19GB 含三个 safetensors shard,MTP 权重与预处理器配置从父模型 InternScience/Sage-A1.5 补齐,需 exllamav3 1.6.4 加载,可用 -mode qwen35 并开启 MTP draft。

  6. Reddit · r/LocalLLaMA25

    Unsloth Dynamic IQ4_XS 版 Swift 1.5 Qwen 3.8 FN 去审查量化发布,附 Strata 支持

    Reddit r/LocalLLaMA 用户发布 Swift 1.5 Qwen 3.8 flash next 的 heretic 去审查版量化模型(mean KLD 0.06,median 0.02),按 per-tensor 量化为 Unsloth Dynamic IQ4_XS 格式,使用面向智能体场景(英文、工具调用、数学、代码、推理)的自定义 imatrix。该版本已 strata ready,附带包含 mtp head 和视觉组件等所需文件的 zip 包,质量高于 ISTA 版。

  7. Hugging Face · 新模型:abliterated29

    Huihui-Qwen3.6-35B-A3B-abliterated 的 Orinfer E8P Q4A8 量化版上线 Hugging Face

    基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布,权重共 35,951,822,704 参数、约 4.209 bits/权重,上下文 262,144 tokens,需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s,10/11 自动评分任务通过,权重采用 Apache-2.0 许可。

  8. Hugging Face · 新模型:abliterated22

    TristanUK 发布 onyx-qwen2.5-7b-abliterated-lora-GGUF 量化模型

    TristanUK 在 Hugging Face 发布 abliterated 版 Qwen2.5 7B 的 GGUF 量化模型(Q4_K_M),提供去审查变体供本地推理使用。该模型可通过 llama.cpp 直接运行,支持 llama serve 启动 OpenAI 兼容本地服务器或命令行推理,也提供 Ollama(ollama run)、Docker Model Runner、Lemonade 等拉取运行方式。此外可接入 Pi、Hermes Agent、OpenClaw 等本地 Agent 工具,作为默认模型使用。

10月22日周四
  1. Hugging Face · 新模型:abliterated26

    Huihui-GLM-4.5-Air-abliterated-lossy-REAP_50-safetensors 上架 Hugging Face

    Hugging Face 上架了基于 huihui 去限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型,由 concedo 上传。相比此前尝试,校准数据集被泛化(仍保留 60%/40% 创作偏向)并按源数据重新封装,激活记录长度从 3072 提升到 8192,并采用稀疏 observer 避免物化整个 [128, dim, tok] 块。该模型目前未经测试,可能无法加载、产生乱码或无法量化。

  2. Hugging Face · 新模型:abliterated19

    mradermacher 发布 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本,提供从 Q2_K(0.8GB)到 f16(3.2GB)共 12 种规格,其中 Q4_K_S、Q4_K_M 标注为快速推荐,Q8_0 质量最佳。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。

  3. Hugging Face · 新模型:abliterated20

    privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本

    privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。

10月21日周三
  1. Hugging Face · 新模型:abliterated68

    Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布

    Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。

    推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。

  2. Hugging Face · 新模型:abliterated20

    pottokao 发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型

    pottokao 在 Hugging Face 上发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型,提供 abliterated 版本的 GGUF 格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持启动 OpenAI 兼容本地服务器,并兼容 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种工具。

  3. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

10月20日周二
  1. Hugging Face · 新模型:abliterated37

    Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3 量化分支发布

    Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3,基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量,保留路由专家、视觉与 MTP,替换 18 个注意力输出 B 和 18 个共享专家下投影(Q8_0 解码为 F16)。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支,实测移植后上下文 129,996 至 1,046,999,各分支按 1M 窗口配置,测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。

  2. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  3. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布,单张 RTX 4090 可跑 552B MoE

    开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版(163 GB,152 GiB 专家权重),基于 dealignai 的 abliterated 无拒绝行为检查点,需搭配自研 Xolotl 引擎在 RTX 4090(24 GB)加 90 GB 内存加 NVMe 的单机上运行,512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层,总位宽与均匀 2.25-bit 持平,校准代理上输出误差比均匀 Q2_0 低 17%;实测 prefill 约 250 tok/s,DSpark 解码 17-30 tok/s,HumanEval 21/21、工具调用 10/10。

    同一新闻,精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE》