跳到正文
10月22日周四
  1. Hugging Face · 新模型:uncensored52

    Qwen-Image-2.1 Uncensored 混合精度 GGUF 量化版发布,4.39 GB 对比 BF16 保真度更优

    Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。

    推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。

  2. Hugging Face · 新模型:uncensored50

    BIGJUTT/Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 使用指南

    BIGJUTT/Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 是在 HauhauCS 的 uncensored Qwen3.8-27B 权重(866 个 tensor 与上游逐字节一致)上,套用 DavidAU Turbo-Brilliance "AI Construct" 聊天模板的 GGUF 模型,支持 Joker、Dr. House、20-agent Einstein panel、Socratic tutor 等按请求选择的模式。模板内置于每个 GGUF 中,llama.cpp、LM Studio、Ollama 无需额外参数即可加载,文档给出 llama.cpp、vLLM、Ollama、Docker 等多种运行方式,示例量化为 IQ4_XS。

  3. Hugging Face · 新模型:uncensored21

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 GGUF 量化版本

    mradermacher 在 Hugging Face 上架了 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 IQ3_M 等量化格式。页面给出 Transformers、llama.cpp、Ollama、Docker、LM Studio、MLX 等多种本地运行与部署方式,可通过 llama-server 启动 OpenAI 兼容本地服务器。

10月21日周三
  1. Hugging Face · 新模型:uncensored20

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16-i1 GGUF 量化版本

    mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。

  2. Hugging Face · 新模型:abliterated68

    Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布

    Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。

    推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。

  3. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。

  4. Hugging Face · 新模型:uncensored54

    AtomicChat 发布面向 DwarfStar 的 DeepSeek-V4.1-Flash-1017 去拒绝 GGUF 版本

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 的 DwarfStar(ds4)Q2 版 GGUF,把 DeepSeek 的拒绝方向从权重中投影移除,仅替换写入残差流的 122 个张量,其余字节与原文件一致,文件大小 365.7 GB,MIT 许可。同一编辑在 llama.cpp 实测中,JailbreakBench 英文拒绝率从 91.4% 降到 0.0%,XSTest 安全拒绝率从 8.0% 降到 0.4%,MMLU 变化在约 2 分内;该文件本身尚未在 DwarfStar 上测得数据,适用 Metal(Apple Silicon)、单张 CUDA GPU 或 ROCm。

    推荐理由:原文给出同编辑在 llama.cpp 上的 JailbreakBench 等前后实测数据,读者可以据此估算该 Q2 版本的去对齐收益与 MMLU 代价。

  5. Hugging Face · 新模型:uncensored22

    Qwen3.6-35B-A3B-Uncensored Genesis GGUF 版本发布

    burningfeet 在 Hugging Face 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型,经 Marchenko–Pastur 定律的 SVD 张量去噪修复,0/465 次拒绝。模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生 262K 上下文(YaRN 可扩展至 1M),支持文本、图像、视频多模态,兼容 llama.cpp、LM Studio 等运行时。

  6. Hugging Face · 新模型:uncensored80

    AtomicChat 发布 DeepSeek-V4.1-Flash-1017 无拒绝版 GGUF 权重

    AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从权重中投影移除,发布 GGUF 量化版和 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率从 88.9%/91.4% 降至 0.0%,3.58bpw-Q2_K 档 MMLU 86.0%→86.6%,2.67bpw-IQ1_M 档 MMLU 降至 81.8% 未通过门槛;需支持 DeepSeek-V4.1 的 llama.cpp 构建(如 Unsloth 的 commit 9d907b7cfe0e),Engram n-gram 表可留在 SSD 上分页读取。

    推荐理由:原文给出拒绝率、KLD 和 MMLU 的前后对照数据,还说明各量化档的取舍,读者可据此选择合适的版本。

  7. Hugging Face · 新模型:uncensored78

    AtomicChat 发布 FLUX 3 Image Klein 提示词扩展器无拒绝 GGUF 版

    AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本,通过投影移除拒绝方向,以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型,英语拒绝率从 63% 降到 0%,俄语从 29% 降到 1%,MMLU 仅从 74.15% 降到 73.95%;在 Klein 文生图管线中未观察到去审查效果,因原始图像模型本身已能画出敏感类别。

    推荐理由:发布方给出拒绝率、MMLU 和量化损失的完整实测数据,读者可据此判断这个去对齐版本的实际代价。

  8. Hugging Face · 新模型:uncensored66

    AtomicChat 发布 FLUX 3 Image Klein 无对齐文本编码器 GGUF

    AtomicChat 发布 FLUX 3 Image Klein 文本编码器 Qwen3-VL-4B-Instruct 的去对齐 GGUF,将拒绝方向从权重中投影移除,供 stable-diffusion.cpp 以 --llm 直接使用。英文拒绝率从 79% 降至 0%,俄语从 32% 降至 0%,MMLU 从 71.1% 到 71.2%;提供 BF16 到 Q4_K 多档量化,并附与 webmp3 Sakura 等同类编码器的对比数据。

    同一新闻,精选展示《FLUX 3 Image Klein 文本编码器去对齐 GGUF 版发布,英文拒绝率从79%降至0%》

  9. Hugging Face · 新模型:uncensored50

    pottokao 发布 LFM2.5-24B-A2B-Uncensored-NVFP4 量化版

    pottokao 在 Hugging Face 发布 LiquidAI LFM2.5-24B-A2B 去审查版的 NVFP4(W4A16)量化模型,经 Heretic ARA 处理后拒绝率从 89/100 降至 0/100。模型体积 14.95 GB(BF16 原版 48 GB),仅 MoE 路由专家采用 NVIDIA ModelOpt 0.45 量化,其余权重保持 BF16,可用 vLLM 部署,适用于研究、红队测试与个人使用。

  10. Hugging Face · 新模型:uncensored54

    LFM2.5-24B-A2B 无对齐 GGUF 量化版发布,拒绝率从 89/100 降到 0/100

    pottokao 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 量化版,用 Heretic ARA 去审查后拒绝率从 89/100 降到 0/100,BF16 权重上 KL 为 0.260。所有 attn_output 张量保持 Q8_0,去对齐修改集中在 blk.38.attn_output;IQ3_M 档可在 16 GB 显存单卡运行,模型回答前会先思考,需留较大输出预算。

    推荐理由:作者给出了用 Heretic ARA 去对齐前后的拒绝率对比和 KL 数值,并说明各量化档的显存取舍。

  11. Hugging Face · 新模型:uncensored21

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct-bf16-GGUF 量化模型

    mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct-bf16-GGUF 量化模型,提供 Q4_K_S 等量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理。

  12. Hugging Face · 新模型:uncensored22

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本

    mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 Q4_K_S 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  13. Hugging Face · 新模型:uncensored25

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本

    mradermacher 在 Hugging Face 上发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本。文档给出通过 llama.cpp、Ollama、Docker 等工具运行 Q4_K_S 量化文件的命令,可直接启动 OpenAI 兼容本地服务器或在终端推理。

  14. Hugging Face · 新模型:uncensored42

    LxBarn 发布 Qwen-Image-2.1-Uncensored 量化版,支持 ComfyUI 本地生图

    LxBarn 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查(Uncensored)量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 NVFP4 的 4.20 GB 到 BF16 的 14.23 GB 不等,其中 Q4_K_M(4.60 GB)被推荐为 GGUF 体积与质量的最佳平衡。该版本内置 qwen3vl_8b 文本编码器与 VAE 文件,可直接在 ComfyUI 中使用,且无内置安全检查器,可直接生成成人、NSFW 及敏感图像。

  15. Hugging Face · 新模型:uncensored74

    Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100

    JonathanColetti 发布 Qwen3.8-27B 的去对齐 GGUF 量化版,用 Heretic 移除拒绝方向,100 条有害提示上的拒绝数从基座的 98 降到 12,首 token KL 散度 0.1191。提供 IQ2_M 到 Q8_0 共六档量化并保留 MTP 头,MMLU、ARC-Challenge、HellaSwag、Winogrande 平均下降 0.5 分,困惑度相对基座 bf16 增加 0.0434,附 ComfyUI 与 llama.cpp 用法及投机解码吞吐数据。

    同一新闻,精选展示《Qwen3.8-27B-Uncensored GGUF 量化版发布,拒绝率从 98/100 降至 12/100》

  16. Hugging Face · 新模型:uncensored57

    Qwen3.8-27B Uncensored Aggressive GGUF 量化版发布,附 FastMTP 加速方案

    HauhauCS 发布 Qwen3.8-27B 的 Aggressive 去对齐 GGUF 量化版,实测 465 次测试中 0 次拒绝,保留文本、推理、Agent 及图像视频能力。附带 FastMTP 32K 加速 sidecar,在 Q8_K_P 下文档生成速度达非 MTP 的 3.02 倍、推理生成 1.93 倍,比内嵌 MTP 再快 35.2% 和 21.1%;数据基于 RTX PRO 6000 Blackwell 96 GB、204800 上下文测得。需 llama.cpp 打补丁运行,视觉输入需单独 BF16 projector,沿用 Apache 2.0 许可。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  17. arXiv · cs.AI51

    arXiv 论文提出数据中心的 2 比特后训练量化与恢复配方

    arXiv 论文提出数据中心的后训练量化方法,突破 4 比特边界,在 2 比特下用向量码本表示、任务对齐校准数据与仅码本的恢复微调三要素组合,将标量 PTQ 崩溃到随机水平的模型恢复可用。该配方在 3.8B 到 32B 的六个稠密与 MoE 模型上每权重约 2.3 有效比特,保留 89 到 97% 的全精度问答准确率,计算量比最强 QAT 基线少 1.4 到 30 倍。

  18. arXiv · cs.CL52

    BitMTP 提出面向超低比特大语言模型的多 token 预测加速框架

    BitMTP 提出算法与系统协同设计框架,在超低比特 LLM 骨干上实现高效多 token 预测(MTP),已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting,并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速,1.7B-4B Bonsai 模型为 2.1-2.4x,RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x,代码已开源。

    推荐理由:论文把多 token 预测与超低比特量化结合,给出跨 GPU 的实测加速比,方法与系统设计都可参考。

  19. arXiv · cs.AI46

    ACE-Compression:以能力为中心评估压缩后的大语言模型

    ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架,从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint(涵盖量化和剪枝)的分析显示,压缩会重新分布能力:粗粒度、局部、表层信号往往保留,而细粒度、长尾、依赖上下文的能力变得脆弱;量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。

  20. Hugging Face · 新模型:abliterated20

    pottokao 发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型

    pottokao 在 Hugging Face 上发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型,提供 abliterated 版本的 GGUF 格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持启动 OpenAI 兼容本地服务器,并兼容 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种工具。

  21. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  22. Hugging Face · 新模型:uncensored44

    Gemma-4-E4B-Uncensored-HauhauCS-Aggressive 发布:基于 Gemma 4 E4B-IT 的无审查版本

    HauhauCS 发布 Gemma-4-E4B-Uncensored-HauhauCS-Aggressive,基于 google/gemma-4-e4b-it 的 abliterated 无审查版本,0/465 拒答,不改动数据集与能力。模型为 4B 参数、131K 上下文、原生多模态,提供 Q8_K_P 至 Q2_K_P 多种 GGUF 量化,K_P 量化以约 5-15% 更大文件换取提升 1-2 级的质量,兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  23. Hugging Face · 新模型:abliterated12

    dealignai 发布 Ornith-1.5-122B-ABLITERATED GGUF 版本

    dealignai 在 Hugging Face 上架 Ornith-1.5-122B 的 ABLITERATED GGUF 版本。该列表不含模型权重,权重与完整模型卡位于 dealignai/Ornith-1.5-122B-UNCENSORED-GGUF 仓库,下载、评测结果和运行说明请使用该 UNCENSORED 仓库,基座模型为 ornith-ai/Ornith-1.5-122B。

  24. Hugging Face · 新模型:uncensored65

    dealignai 发布 Ornith-1.5-122B 无对齐 GGUF 版本,附拒绝率与能力评测数据

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B 的去对齐 GGUF 版本,基于 Qwen3.5 系混合 GatedDeltaNet + 全注意力 MoE 架构(122B 总参数 / 10B 激活),提供 Q4_K_M(79.4 GB)和 IQ2_XXS(44.1 GB)两种量化,均保留原生 MTP 自推测解码与视觉塔。HarmBench-320 评测中 IQ2_XXS 真实合规率 99.7%、Q4_K_M 为 97.8%;MMLU-5k 显示 Q4_K_M 整体较基座下降 2.85pp、IQ2_XXS 下降 5.08pp。模型支持 llama.cpp 部署与 enable_thinking 开关,MIT 许可,作者提醒需自行添加下游安全控制后再面向终端用户部署。

    同一新闻,精选展示《dealignai 发布 Ornith-1.5-122B-UNCENSORED-NVFP4 去对齐量化版》

  25. Hugging Face · 新模型:uncensored68

    dealignai 发布 Ornith-1.5-122B-UNCENSORED-NVFP4 去对齐量化版

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B 的去对齐 NVFP4 量化版,基于 Qwen3.5 系混合 GatedDeltaNet + 全注意力 MoE 架构,122B 总参数 / 10B 激活,磁盘占用约 71 GB,MIT 许可。HarmBench-320 实测 96.6% 服从率,MMLU-5k 相比 NVFP4 base 下降 1.69pp,为三个去对齐量化版本中回归最小者;保留原生 MTP 头与视觉能力,支持 vLLM 推测解码,针对 NVIDIA Blackwell SM100(B200/GB200)优化,SM120 消费级卡上吞吐明显更慢。

    推荐理由:原文给出 HarmBench 拒绝率与 MMLU 前后对比,读者可据此判断这个去对齐版本去掉了多少、损失了多少。

  26. Hugging Face · 新模型:abliterated18

    dan9070 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 量化模型(IQ3_S/Q8PLE)

    dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE,提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。