跳到正文
10月8日周四
  1. Hugging Face · 新模型:abliterated18

    John2202 发布 Qwen3-1.7B-abliterated Q4_K_M GGUF 量化版模型

    John2202 在 Hugging Face 发布 Qwen3-1.7B-abliterated 的 Q4_K_M GGUF 量化版本,由 mlabonne/Qwen3-1.7B-abliterated 通过 llama.cpp 转换而来。用户可通过 llama-cli 或 llama-server 命令直接加载使用,服务器模式默认 -c 2048 上下文。模型也可在 llama.cpp 仓库中按源码编译方式(支持 LLAMA_CUDA 等 GPU 加速编译选项)直接调用。

  2. Hugging Face · 新模型:abliterated70

    Muse-Glimmer-30B Heretic Abliterated BF16 v2 发布,拒绝率降至6.5%

    kmnstudio101 发布 Muse-Glimmer-30B-Heretic-Abliterated-BF16 v2,使用 Heretic 工具经 500 次 Optuna 试验完成消融,拒绝率从 v1 的 29% 降至 6.5%,KL 散度为 0.076。消融流程包括跨 52 层计算拒绝方向、LoRA 适配器投影去除拒绝方向并合并回基础权重。BF16 版本约需 55 GB 显存,另有 Q4_K_M 约 16 GB、Q6_K 约 22 GB、Q8_0 约 28 GB 的 GGUF 量化版本,许可证为 Apache 2.0,基础模型为 Meta Muse Glimmer 30B。

    推荐理由:原文给出 v1 到 v2 的拒绝率与 KL 散度对比数据和完整消融流程,读者可据此评估这个去对齐版本的效果与质量代价。

  3. Hugging Face · 趋势模型71

    NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B-24GB 本地智能体视觉语言模型

    NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B-24GB,一款为本地日常智能体任务设计的视觉语言模型,总参数 74B(9B 激活),采用 Mamba-2-Transformer 混合 LatentMoE 架构,通过原生 IQ2 2-bit 量化与量化感知蒸馏压进 24GB 显存,支持最高 256K 上下文,可在 vLLM 上部署,基于 OpenMDW-1.1 许可商用。

    推荐理由:模型卡完整给出架构、训练流程和与同量级模型的基准对比,读者可以自己判断 2-bit 量化的取舍。

10月7日周三
  1. Hugging Face · 新模型:uncensored49

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布

    Hugging Face 上发布了基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化模型,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)多种量化格式,推荐体积与画质平衡最佳的 Q4_K_M(4.60 GB)。模型无内置安全检查器或内容过滤,可直接生成成人、NSFW 及敏感图像,不会拒绝提示词或输出黑图。配套的 qwen3vl_8b 文本编码器与 VAE 文件可直接用于 ComfyUI 及 ComfyUI-GGUF,文本编码器可卸载到系统内存以节省 9–17 GB 显存。

  2. Hugging Face · 趋势模型63

    Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2,总参数 740M,将文本、图像、视频和音频统一映射到 768 维向量空间,采用 Apache 2.0 许可,设计面向手机和笔记本等消费级硬件。模型支持 100+ 语言,8K token 上下文,原生 MRL 截断到 128/256/512 维最多可省 6 倍向量存储,视觉与音频编码器可按需加载(纯文本 270M)。基准上 MTEB 多语言 61.36、代码任务较前代提升约 14%;模型卡还给出任务前缀、bfloat16 精度(禁用 float16)等部署最佳实践。

    推荐理由:模型卡给出了各模态基准分数与 MRL 截断后的质量对照表,读者可据此评估在端侧 RAG 或检索场景中选哪个维度部署。

  3. Hugging Face · 趋势模型71

    面壁 MiniCPM-V 4.7 35B-A3B 发布,系列首个 MoE 多模态模型支持端侧推理

    面壁智能在 Hugging Face 开放 MiniCPM-V 4.7 35B-A3B,是 MiniCPM-V 系列首个 MoE 多模态模型。官方称借助 Lookahead Expert Scheduling、分层细粒度量化与 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。

    推荐理由:原文给出 LES 预取、分层量化和推测采样三条技术路径,解释了 MoE 在设备端跑顺的原理与部署选择。

  4. Hugging Face · 新模型:uncensored18

    mradermacher/qwen3.5-9b-uncensored-i1-GGUF 模型在 Hugging Face 发布

    mradermacher 在 Hugging Face 发布 qwen3.5-9b-uncensored 的 i1-GGUF 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio 等工具本地运行,示例采用 Q4_K_S 量化,支持启动 OpenAI 兼容本地服务器或终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  5. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I NanoPlus GGUF 量化版本发布

    Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版,体积仅 11.90 GB(2.85 BPW),可在 16GB GPU 上运行,并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238,较 BF16 基线仅升 7.06%,达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩,输出头采用 Q6_K 保障语法稳定性。

  6. Hugging Face · 新模型:uncensored46

    infosave 发布 Qwen-Image-2.1-Uncensored-CMF 单文件本地图像生成模型

    infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF,这是面向 Cortiq 运行时的单文件图像生成模型,大小 12.745 GB、15.59B 参数,内含 DiT、文本/视觉编码器、VAE 和 tokenizer,支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒;上游 GGUF 版本无内置安全检查器,采用 Qwen 研究许可,仅限非商业研究用途。

  7. Hugging Face · 趋势模型67

    面壁 MiniCPM-V 4.7 35B-A3B 发布 GGUF 量化版

    openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。

    推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。

  8. Hugging Face · 趋势模型42

    面壁 MiniCPM-V 4.7 发布 1B 版本

    面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。

  9. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

10月6日周二
  1. Hugging Face · 新模型:uncensored68

    spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored GGUF 量化版

    spiritfather 发布 MiMo-V2.6-Flash-MOPD-Yamz-Uncensored 的 GGUF 量化版,把 yamz-labs 的运行时去审查编辑直接烘焙进权重,使其在任意 llama.cpp 运行时无需特殊引擎即可生效。

    推荐理由:原文给出了拒绝率前后对比和量化损失数据,读者可以据此判断这个去对齐版本到底去掉了多少、代价多大。

  2. Hugging Face · 新模型:abliterated62

    Swift 1.5 Qwen3.8-Flash-Next GSQ-RCO 消融版 IQ3_S GGUF 量化发布

    slider-meister-pub 在 Hugging Face 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 的 IQ3_S GGUF 量化,总大小 83.74 GB(约 3.79 bpw),补上上游缺失的 IQ3_S 档位。

    推荐理由:原文给出量化构建细节和消融前后拒绝率对比,硬拒绝从98/100降到0,读者可据此评估这个低比特去对齐版本。

10月5日周一
  1. Hugging Face · 趋势模型74

    humanizer-12B v2 发布:将 AI 稿改写为人类风格,支持中英文本地运行

    jialinyyzz 在 Hugging Face 发布 12B 改写模型 humanizer v2(微调自 google/gemma-4-12B,Apache 2.0),用于把 AI 生成的邮件、论文、报告等草稿改写成人类风格,支持中英文并可本地运行。

    推荐理由:作者给出与上一版在同一批草稿上的对照数据和分体裁检出率,可据此评估这版改写在事实保真和检测表现上的实际变化。

  2. Hugging Face · 趋势模型69

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B-4GB 量化小模型

    NVIDIA 在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,从 Gemma-4-E4B-it 后训练而来,Q4_K_M 量化、总参数 8B(有效 4B),上下文最长 64K tokens,采用 OpenMDW-1.1 许可。模型主打低内存、低 TTFT 的本地语音助手、交互人格和嵌入式接口,支持多轮工具调用、指令遵循、可开关的思考模式与运行时思考预算,可搭配 DFlash drafter 做投机解码,llama.cpp 部署,10/23/2026 GA。

    推荐理由:官方给出了 BF16 与 Q4_K_M 两档精度、多组同类小模型的同基准横向对比数据,读者可直接核对这个 4GB 级小模型的实际水平。

  3. Hugging Face · 趋势模型81

    ISTA-DASLab 发布 Qwen3.8-Flash-Next GSQ-RCO Coder 压缩版 GGUF 权重

    ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版 GGUF 权重,通过移除一半路由专家并将剩余权重存为 3.5 bpw,使 176.9B 参数模型的常驻显存从 354 GB 降至 29.6 GB,可装入单张 32 GB 加速卡。

    推荐理由:原文给出压缩方法细节与 SWE-bench、LiveCodeBench 前后对比,读者可据此评估专家剪枝加量化的实际代价。

  4. Hugging Face · 趋势模型78

    Prism ML 发布 Ternary-Bonsai-2-27B 三值量化 GGUF 模型

    Prism ML 在 Hugging Face 发布 Ternary-Bonsai-2-27B-gguf,将 Qwen3.8-27B 转为三值权重(1.72 bits/weight),语言模型体积从约 54 GB FP16 降至 5.95 GB(PTQ1_0)或 7.21 GB(PQ2_0)。

    推荐理由:原文给出三值权重格式、14 项基准对比和跨平台吞吐数据,读者可以据此评估 1.72 bits/weight 量化在本地部署中的实际取舍。

  5. Hugging Face · 趋势模型52

    NVIDIA 开放 Nemotron-3-Diarization 说话人分离模型权重

    NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization,用于判断真实音频中谁在何时说话,支持流式与离线推理,最多处理 8 个说话人。

    推荐理由:模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比,读者可据此评估升级收益。

  6. Hugging Face · 新模型:uncensored36

    axi0mX/Qwen3.8-Flash-Next-Uncensored-GGUF 上架 Hugging Face,可用 llama.cpp 本地运行

    axi0mX 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-GGUF 模型,默认量化版本为 Q5_K_XL。模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行,llama.cpp 还提供带 Web UI 的 OpenAI 兼容本地服务器,也可接入 Pi、Hermes Agent、OpenClaw 等 Agent 工具使用。

  7. Hugging Face · 新模型:uncensored41

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布

    用户 laazuri 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供 BF16 到 Q4_0 等多种量化文件,体积从 14.23 GB 到 4.15 GB 不等,其中 Q4_K_M 被推荐为体积与质量的最佳平衡。仓库同时打包 ComfyUI 所需的 text encoder(qwen3vl_8b)和 VAE 配套文件,需配合 leejet 的 ComfyUI-GGUF fork 使用。该版本无内置安全检查器或内容过滤,可直接生成成人及 NSFW 内容,采用 Qwen Research License 授权。

  8. Hugging Face · 新模型:abliterated34

    Anotos 发布 LFM2-8B-A1B-Abliterated 的 MLX 4-bit 量化版

    Anotos 将 huihui-ai 的 abliterated(去审查)版 Liquid AI LFM2 8B-A1B 转换为 MLX 4-bit 量化模型,面向 Apple Silicon。该模型为 MoE 架构,总参数 8.3B、每 token 激活约 1.5B,文件 4.69 GB,专家路由门控保留 8 bit,需 mlx-swift-lm 3.31.4 及以上版本。模型已移除安全护栏,不内置入 Erato 应用,需手动添加,采用 LFM Open License v1.0 许可。