跳到正文
10月7日周三
  1. Hugging Face · 趋势模型67

    面壁 MiniCPM-V 4.7 35B-A3B 发布 GGUF 量化版

    openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。

    推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。

  2. Hugging Face · 趋势模型42

    面壁 MiniCPM-V 4.7 发布 1B 版本

    面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。

  3. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

  4. Hugging Face · 新模型:uncensored60

    gemma-4-E2B-it 去对齐版 GGUF 量化发布,拒绝率从 98/100 降至 4/100

    独立贡献者 princepppp 发布了 google/gemma-4-E2B-it 的去对齐版本 gemma-4-E2B-it-ultra-uncensored-heretic 的 GGUF 量化,使用 Heretic v1.2.0 的 Arbitrary-Rank Ablation 方法,消融 attn.o_proj 组件(层 17-24)。

    推荐理由:作者给出了拒绝率、KL 散度和 MMLU 前后对比,可据此判断这个去对齐版本去掉了多少、损失了多少。

10月6日周二
  1. Hugging Face · 新模型:uncensored61

    TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735

    TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF,提供常规与 MTP 两种 NEO imatrix GGUF 量化。

    推荐理由:原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及 8bit/4bit 下 ARC-C 等基准对比,可据此评估这个去对齐微调的实际效果。

  2. Hugging Face · 新模型:abliterated40

    Huihui-Qwen3.6-27B-abliterated-AWQ-MTP 发布:Qwen3.6-27B 去审查版

    基于 Qwen/Qwen3.6-27B 的去审查(abliterated)版本已在 Hugging Face 上发布,采用 AWQ 量化并支持 MTP 投机解码。在单张 A800 80GB 上配合 vLLM 0.21.0、MTP 与 fp8 KV cache 可达 110+ tok/s,支持 65536 上下文长度。该模型大幅削减安全过滤,建议仅用于研究或受控环境。

  3. Hugging Face · 新模型:abliterated82

    BoldingBuilds 发布 AREX-2 Abliterated GGUF 去对齐版本

    BoldingBuilds 发布 BAAI AREX-2(基于 Qwen3.8 的 27B agent 微调)的去对齐 GGUF 版本,将拒绝方向从 64 个权重张量(第 8-39 块)投影移除。

    推荐理由:作者给出了拒绝率、工具调用和 KL 位移的实测数据,可以据此判断这次去对齐改动到底动了什么、代价多大。

  4. arXiv · cs.CL61

    Paradee:将 Kokoro-82M 蒸馏为 8M 参数单音色 TTS 模型

    作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee,参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征,分别训练文本侧与解码器后拼接,并量化为 int8;int8 版本仅 8.5 MB,单 CPU 线程下 25 倍实时速度,UTMOS 得分 4.41(教师为 4.52)。

    推荐理由:论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程,方法无需对齐学习,可在单 CPU 上复现部署。

  5. Hugging Face · 新模型:uncensored68

    spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored GGUF 量化版

    spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版,把 yamz-labs 的运行时去审查编辑直接烘焙进权重,使其在任意 llama.cpp 运行时无需特殊引擎即可生效。

    推荐理由:原文给出了拒绝率前后对比和量化损失数据,读者可以据此判断这个去对齐版本到底去掉了多少、代价多大。

  6. Hugging Face · 新模型:abliterated62

    Swift 1.5 Qwen3.8-Flash-Next GSQ-RCO 消融版 IQ3_S GGUF 量化发布

    slider-meister-pub 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 的 IQ3_S GGUF 量化,总大小 83.74 GB(约 3.79 bpw),补上上游缺失的 IQ3_S 档位。

    推荐理由:原文给出量化构建细节和消融前后拒绝率对比,硬拒绝从98/100降到0,读者可据此评估这个低比特去对齐版本。

  7. Hugging Face · 新模型:abliterated68

    gbuzhf 发布 Occamy-1.0 去对齐版 Sangreal ICE 量化 GGUF

    gbuzhf 在 Hugging Face 发布 Occamy-1.0 Abliterated 的四个 Sangreal ICE 量化档位(14.51/18.47/22.52/24.53 GB),基于 SC117 的去对齐 BF16 权重,附带 Qwen-Sharp v22.5.0-arrow.3.1 聊天模板和视觉 mmproj 文件。

    推荐理由:作者用同一会话的 KLD 实测把四个 ICE 档位与 SC117 同尺寸量化逐一对照,读者可按文件大小直接选档。