跳到正文
10月12日周一
  1. Hugging Face · 趋势模型64

    NVIDIA 发布 Nemotron 3.5 Super VL 120B-A12B 的 NVFP4 量化版

    NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本,这是一个 120B 总参数、12B 激活参数的视觉语言模型,采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器,支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成,模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果,并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置,许可证为 OpenMDW-1.1,可商用。

    推荐理由:模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置,读者可以据此评估量化损失与所需显存门槛。

  2. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE

    IndrasMirror 发布 DeepSeek-V4.1-Flash-GSQ-Uncensored,对 dealignai 的 abliterated 检查点做校准混合量化,552B 参数 MoE 压缩至约 163 GB(152 GiB 专家权重),可在 RTX 4090 24 GB + 90 GB RAM + NVMe 的家用 PC 上运行。量化采用三档专家格式(42.8% 三值、39.2% 2-bit、18.0% 3-bit),与同尺寸均匀 Q2_0 相比输出误差低 17%;held-out 困惑度 5.645(原模型 4.915),top-1 一致率 0.674。实测 Prefill 250 tok/s、Decode 约 26 tok/s(启用 ggml patch 可达 27+)。

    推荐理由:原文完整公开了混合精度量化的校准方法、逐层误差和困惑度数据,并给出在单张 RTX 4090 上复现所需的全套工具与硬件清单。

  3. Hugging Face · 新模型:uncensored36

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本,提供从 BF16(14.23 GB)到 Q4_0(4.15 GB)等多种量化文件,推荐 Q4_K_M 以平衡体积与质量。该版本移除内置安全检查器与内容过滤,可直接生成 NSFW 内容,需配合 ComfyUI 与 ComfyUI-GGUF 使用,仓库内包含 qwen3vl_8b 文本编码器和 VAE 等配套文件。采用 Qwen Research License 授权。

  4. Hugging Face · 新模型:uncensored41

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布,支持 ComfyUI 本地图像生成

    maximUlya 在 Hugging Face 发布 Qwen-Image-2.1 的 Uncensored GGUF 量化版本,基于上游原始权重,提供 BF16、Q4_K_M 等多种量化文件,大小从 4.15 GB 到 14.23 GB 不等,推荐 Q4_K_M(约 4.6 GB)兼顾体积与质量。该版本移除内置安全检查与内容过滤,可直接生成成人及敏感图像,不拒答也不出黑图。需配合 ComfyUI 与 ComfyUI-GGUF(leejet fork)使用,文本编码器卸载到系统内存可节省 9–17 GB VRAM,采用 Qwen Research License。

  5. Hugging Face · 新模型:uncensored22

    bowmanslayer/VeriLoop-E2-Uncensored-GGUF 上架 Hugging Face,附 llama.cpp 等多平台部署指南

    bowmanslayer 在 Hugging Face 发布 VeriLoop-E2-Uncensored-GGUF 模型,提供 Q4_K_M 量化版本。模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具在本地运行,并支持 llama serve 启动 OpenAI 兼容 API 服务器,也可接入 Pi、Hermes、OpenClaw 等 Agent。

  6. Hugging Face · 新模型:abliterated28

    Huihui-GLM-5.3-Flash-abliterated GGUF 模型上架 Hugging Face

    Petyx123 在 Hugging Face 发布 abliterated 版本的 Huihui-GLM-5.3-Flash GGUF 模型,提供 UD-Q4_K_XL 量化版本。该模型为图像-文本到文本多模态模型,可在 llama.cpp、vLLM、SGLang、Ollama、LM Studio、Docker Model Runner 等多种推理框架中运行,并支持通过 OpenAI 兼容 API 进行本地部署调用。

  7. Hugging Face · 新模型:uncensored27

    Zewsic 发布 diffusiongemma-26B-A4B-it-HERETIC-Uncensored-NVFP4 量化模型

    Zewsic 在 Hugging Face 发布 edwixx/diffusiongemma-26B-A4B-it-HERETIC-Uncensored 的 NVFP4 量化版本,基于 Heretic 修改后的专家权重而非原始 Google 模型。MoE 专家与 dense MLP 采用 NVFP4(W4A4、group size 16),注意力、embeddings、router、vision tower 等保留 BF16,校准使用 ultrachat_200k 的 128 个样本、截断至 2048 token。原生存储需 Blackwell 或更新 GPU,可通过 vLLM 部署,许可证为 Apache 2.0 加 Gemma 4 条款。

  8. Hugging Face · 新模型:abliterated26

    Huihui-GLM-5.3-Flash-abliterated-GGUF 上架 Hugging Face

    Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,基于 GLM-5.3-Flash 的 abliterated 版本,提供 UD-Q4_K_XL 量化格式,支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法,llama.cpp 路线可启动 OpenAI 兼容的本地服务器。

  9. Hugging Face · 新模型:uncensored73

    Qwen3.8-27B-Uncensored-Cyber 的 agentic imatrix IQ4_XS GGUF 量化发布

    balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化,用真实 agent 编码会话日志构建重要性矩阵,而非通用英文语料,保留 MTP 头与视觉塔。提供 IQ4_XS(含/不含 MTP,14.96/15.38 GiB)与校准矩阵文件,配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%,在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x,逐字抄写保真 7/7。该仓库只做量化,无微调或行为改动,上游为 philbert440 的 abliterated 去拒绝模型。

    推荐理由:作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据,做法可复现,对低比特量化部署有可迁移价值。

  10. Hugging Face · 新模型:abliterated30

    GLM-5.3-Flash-Sushi-2bpw-Abliterated:实验性权重移植包在 Hugging Face 发布

    thelogicalgate 在 Hugging Face 发布 GLM-5.3-Flash-Sushi-2bpw-Abliterated,将原版 GLM-5.3-Flash 的 EXL3 2bpw 专家与来自 abliterated 供体的 29 个 BF16 注意力输出投影组合为 Sushi 包。模型分片约 87.70 GB,仅供 Sushi v1.2.2 在 Apple Silicon 上加载,需 macOS 26.2 及以上。该实验性移植的拒绝减少与能力保留尚未经完整评估,诊断中 17*23=391,DFlash2 串行 33.283 tok/s、开启时 46.235 tok/s,draft 接受率 88.5%。

  11. Hugging Face · 新模型:uncensored42

    darask0 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 优化量化版

    darask0 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 混合量化版,基于 orcarouter 的 FP8 源模型转换,两个 GGUF 分片共 83.707 GiB。该版本保留全部 45 层文本主干和 42 个路由层中的 288 个专家,采用校准和 GPTQ 误差反馈,路由专家主要用 IQ2_XXS、重要下投影用 IQ3_XXS。在 RTX PRO 6000 96 GB 上实测 256 输入时 decode 91.0 tokens/s,需自建补丁版 Maya 运行时,与原版 llama.cpp、LM Studio、Ollama 的兼容性未经验证。

  12. Hugging Face · 新模型:uncensored50

    GLM-4.7-Flash 无对齐版 GGUF 仓库发布,附 Ollama 0.32.1 速度修复与上下文调参说明

    AI-conn 在 Hugging Face 上 fork 了 HauhauCS 基于 Zhipu AI GLM-4.7-Flash 制作的无对齐版本 GGUF,以固定副本并附带部署修复说明,推荐 20 GB 显卡使用 Q4_K_M 量化(16.89 GiB)。实测指出 Ollama 0.32.1 之前会把该 MoE 当密集模型执行(13.7 tok/s),升级到 0.32.1 后达 77.8 tok/s;默认 202,752 token 上下文会导致 prefill 约 51 秒、解码约 10 tok/s,建议 Modelfile 设 num_ctx 32768 和 num_batch 2048(25K prompt 从 665 秒降到 33 秒)。

  13. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated-i1-GGUF 量化版上线 Hugging Face

    AI-conn 在 Hugging Face fork 了 huihui-ai 的 Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated,由 mradermacher 完成 GGUF 转换,基础模型为 Qwen3-Coder-30B-A3B-Instruct,采用 Apache-2.0 许可。该 MoE 模型总参数 30B、每 token 激活约 3B,但全部专家权重需常驻 VRAM;20 GB 显卡推荐 17.28 GiB 的 i1-Q4_K_M 文件。社区实测基础模型在 HumanEval Pro 得分 60.4%,目前尚无任何 abliterated 版本的独立编程评测。

  14. Hugging Face · 新模型:abliterated84

    Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

    shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

    推荐理由:原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

  15. Hugging Face · 新模型:uncensored27

    Swift-1.5-Qwen3.8-27B-Uncensored ninfer3090 转换版本在 Hugging Face 上架

    wacomctl672 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-ninfer3090,这是基于 d0xin abliterated 检查点、面向 ninfer-3090 转换的量化产物,并集成了 z-lab/Qwen3.8-27B-DFlash2。基座为 Alibaba Cloud 的 Qwen3.8-27B(Apache 2.0),指令微调来自 UkisAI 的 Swift-1.5-Qwen3.8-27b。Swift Open License v1.0 规定年营收低于 $1,000,000 USD 的实体可免费商用,超过需与 UkisAI 达成商业协议。

10月11日周日
  1. Hugging Face · 新模型:uncensored66

    CCSSNE 发布 HauhauCS 去对齐版 Gemma4-31B QAT GGUF,附 MTP 投机解码加速

    CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B,实测 0/465 拒绝,数据集和能力不变。提供 Q4_K_M 主模型(18.7 GB)、mmproj 视觉文件(1.2 GB)和来自 Unsloth 的 MTP 投机解码头(280 MB),经 llama.cpp 测试生成速度约快 53% 且输出一致;支持 256K 上下文与图像输入,兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。

    推荐理由:原文给出拒绝率实测结果和 llama.cpp 部署命令,还说明 QAT 4-bit 量化选型理由,可作为去对齐模型的参考样本。

  2. Hugging Face · 新模型:uncensored48

    WaveCut/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP-NInfer-v3 发布

    Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP(Q4_K_M,已移除拒绝回复)以 NInfer v3 格式发布,单个 .ninfer 文件 15.88 GiB,逐字节保留原 GGUF 块、不重新量化,并用随附的 MTP draft 头做投机解码。模型为文本模型,支持最多 8 个并发请求、提示词前缀复用、结构化输出、OpenAI 格式工具调用与可选思考模式;在 RTX 3090 上开发测量,权重占 15.6 GiB 显存。

  3. Hugging Face · 新模型:uncensored69

    DeepSeek-V4.1-Flash 无对齐版 GGUF 量化发布,支持 CPU 推理 1M 上下文

    Adolphsson 发布 DeepSeek-V4.1-Flash-UNCENSORED 的 GGUF 量化版本,基于 dealignai 对 deepseek-ai/DeepSeek-V4.1-Flash(552B MoE,1M 上下文)的权重级 abliteration 结果转换。提供 Q8_0(508 GB)、Q4_K_M(449 GB)、Q3_K_M(374 GB)三种量化及 BF16 视觉 projector,Q4/Q3 为从 Q8 两步 requant,敏感层用 Q5/Q6/Q8;模型推理电路已按 OrcaSAQ 风格做敏感度感知量化,完整 1M 上下文(KV 约 890 bytes/token)。

    推荐理由:不只放出去对齐权重,还给出逐量化的拒绝率与 NIAH 实测和 CPU 部署配方,读者可据此评估质量损失。

  4. Hugging Face · 新模型:abliterated27

    hotdogs/jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 上架 Hugging Face,附 llama.cpp 等多种本地运行指南

    hotdogs 发布 jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 的 TQ1_0 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理,也支持 Ollama、Docker Model Runner、LM Studio、Jan 等多种工具,并可在 Pi、Hermes Agent、OpenClaw 等 Agent 中配置调用。

  5. Hugging Face · 趋势模型57

    OpenMOSS 发布 MOSS-Image-Base 文生图基座模型

    OpenMOSS 在 Hugging Face 发布 MOSS-Image 系列的基座文生图模型 MOSS-Image-Base,支持自然语言提示词、标签序列和 JSON Layout 控制文字与物体排布,权重和推理代码以 Apache 2.0 许可开放。正文给出 diffusers 快速上手代码(transformer 与文本编码器用 bfloat16,VAE 用 float32,捆绑 FLUX.2 small 解码器的 VAE)、默认采样设置(Flow-matching Euler、50 步、CFG 3、负分支跳过第 22 层),并对比了 Base 与 SFT 版本在同一示例上的文字分组与白板排版差异;另提供 ComfyUI 原生插件和面向 agent 的提示词增强 skill。

    推荐理由:原文给出了完整的推理代码、采样参数和 Layout JSON 格式,读者可以直接在本地复现这个文生图基座模型的用法。

  6. Hugging Face · 新模型:uncensored60

    ayngepaw 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

    ayngepaw 在 Hugging Face 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本,平均比特率 3.04 bpw,体积 273 GiB,含 MTP 层可作投机草稿模型。与 FP8 源对比 wikitext-2 困惑度为 3.440 对 3.302;tau2-bench 上与原版 GLM-5.3 FP8 差异不具统计显著性。作者提醒 TabbyAPI 的 glm4_5 解析器会把字符串参数误解码为整数,导致约 70% 工具调用失败,评测时已修复该问题。

  7. Hugging Face · 新模型:uncensored25

    mradermacher/JEV-27B-Uncensored-GGUF 上架 Hugging Face,支持 llama.cpp、Ollama、Docker 等多种本地运行方式

    mradermacher 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF 量化模型,提供 Q4_K_S 等格式。该模型可通过 llama.cpp 的 OpenAI 兼容本地服务器或终端直接推理运行,并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种本地部署工具,覆盖 macOS、Windows、Linux 平台。

  8. Hugging Face · 新模型:uncensored19

    Tree-AI-lab 发布 Qwen2.5-Coder-1.5B-Instruct 无审查 GGUF 版本,面向 Android 本地部署

    Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查(uncensored) coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本,可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行,并支持以 OpenAI 兼容服务器方式部署。

  9. Hugging Face · 新模型:abliterated19

    issoufzousko07 发布 Qwen2.5-Coder-1.5B-Instruct-abliterated-GGUF 模型

    Hugging Face 上线 abliterated 版 Qwen2.5-Coder-1.5B-Instruct 的 GGUF 量化模型,提供 Q4_K_M 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行,支持启动本地 OpenAI 兼容服务器或在终端直接推理,也可配置到 Pi、Hermes Agent、OpenClaw 等 Agent 工具中使用。

  10. Hugging Face · 新模型:uncensored19

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 推出 MLX 版本

    DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 模型现提供 MLX 优化版本,用于 Apple Silicon 推理。该版本由 Q8_0 GGUF(30.24 GB)转换而来,866 个张量全部反量化为 float16(约 55 GB,12 个分片),质量与原 GGUF 权重一致、无精度损失。架构为 Qwen3.5 dense(65 层、5120 hidden、24 heads、248320 vocab),采用 Apache-2.0 许可证。

  11. Hugging Face · 新模型:abliterated38

    Huihui-Qwen3.8-27B-abliterated GGUF 版本发布:基于 Qwen3.8-27B 去除拒答

    Huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查(abliterated)GGUF 版本 Huihui-Qwen3.8-27B-abliterated,通过 abliteration 技术移除模型拒答行为。多个衍生系列仅对 0 起始索引的第 22 到 52 层做消融,并采用 Q2_K_L 至 Q8_0_L 等混合量化以提升响应质量;MTP 与视觉部分未修改。可通过最新版 ollama 或 llama.cpp 运行(-c 262144),官方提示安全过滤已大幅降低,建议仅用于研究测试环境。

  12. Hugging Face · 新模型:uncensored71

    AtomicChat 发布 Qwen-Image-2.1-Turbo 无对齐 GGUF 编码器

    AtomicChat 在 Hugging Face 发布 Qwen-Image-2.1-Turbo 的无对齐 GGUF 编码器,将文本编码器 Qwen3-VL-8B-Instruct 的拒绝方向投影移除,作为聊天模型时英文拒绝率从 88.9% 降到 1.2%,俄语从 38% 降到 0%,MMLU 保持 77.35% 不变。实测显示原版 Qwen-Image 流水线本就能绘制全部 45 条敏感提示词的结果,45 条提示词无一翻转,图像 LPIPS 偏移约 0.088。文件按 BF16 到 Q2_K 量化阶梯提供,配 AD 布局和重要性矩阵,可用 stable-diffusion.cpp 以 --llm 参数本地运行,方法沿用 Arditi et al. 的单方向消融。

    同一新闻,精选展示《AtomicChat 发布 Qwen-Image-2.1-Turbo-Uncensored GGUF 文本编码器,拒绝率从 88.9% 降至 1.2%》

  13. Hugging Face · 新模型:uncensored28

    ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 发布 AutoRound W4A16 量化版本

    Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版,采用对称 4-bit 权重、group size 128,体积从 54.7 GB 降至 18.7 GB,上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成,已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试,但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱,仅限研究与实验用途,许可为 PolyForm Small Business 1.0。

  14. Hugging Face · 新模型:abliterated43

    Qwen3.8-27B-ABLITERATED Splash 版本上线 Hugging Face:专为 Apple silicon 推理引擎 Splash 转换

    社区将 Blackfrost 的 Qwen3.8-27B-ABLITERATED(27B 参数)转换为 Inco AI 开源推理引擎 Splash 的 splash-packed-q4 格式,供 LM Studio 在 Apple silicon 上运行。包内含 4-bit affine 量化目标权重(组大小 64)、DFlash 2 投机解码草稿模型、BF16 视觉编码器和 tokenizer,磁盘约 16 GiB,原生上下文 262,144 tokens。转换仅做量化与重排,未改动权重;需 M3 或更新芯片、macOS 26.4+ 及至少 36 GB 统一内存。

  15. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  16. Hugging Face · 新模型:abliterated72

    GLM-5.3-Flash-abliterated-Maya-M-GGUF 发布:运行时移除拒绝的量化模型与引擎补丁

    alesha-pro 发布 GLM-5.3-Flash-abliterated-Maya-M-GGUF,基于 Project Maya 的 Maya-M 量化,附带 2.2 MB 拒绝方向向量和 Maya 引擎补丁,可在推理时逐层移除拒绝。在 4x RTX 3090 上开启向量后 256K 上下文解码 56 tokens/s;178 条 AdvBench 与 JailbreakBench 请求中仅 2 条仍拒绝(自杀与自残相关),未开启向量的 EXL3 2.05 bpw 量化上原模型拒绝 144/146,开启后 438 条回答 0 拒绝。

    推荐理由:作者给出拒绝向量构造方法与178条请求的拒绝率前后对比,并附KLD数据,读者可自行判断去对齐幅度。

  17. Hugging Face · 新模型:abliterated75

    Qwen3.8-Flash-Next abliterated 版以 fngine 单卡包形式发布

    satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包,迁移 huihui-ai 的消融结果,48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词,未消融版拒答 8 个、该包 0 个,数学、Python 与知识测试两版得分相同,速度无可测差异。pack 约 89 GiB,要求 sm_120a GPU、约 60 GB 主机内存,提供 OpenAI 兼容接口与 256K 上下文。

    推荐理由:给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照,可复核的去对齐发布。

  18. Hugging Face · 新模型:abliterated81

    GLM-5.3-Flash abliterated EXL3 2.4bpw 混合量化发布,附逐块去拒向量

    作者发布 GLM-5.3-Flash 的 EXL3 混合量化(gate/up 2 bit、expert down 3 bit,约 2.4bpw,98.1 GB),并附 2.2 MB 的逐块去拒向量,运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文(77% 专家驻留 VRAM),256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝,原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个;带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959,需配合作者自己的 exllamav3 fork 使用,许可证 MIT。

    推荐理由:作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据,可自行复现并检验量化与去对齐的实际代价。

  19. Hugging Face · 新模型:uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

    推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

10月10日周六
  1. Hugging Face · 新模型:uncensored22

    Nova-Zero 发布 Gemma-4-E4B-it-Uncensored-GGUF 量化模型

    Nova-Zero 在 Hugging Face 发布 Gemma-4-E4B-it-Uncensored-GGUF 无审查 GGUF 量化模型,提供 Q5_K_M 量化版本。该模型可通过 llama.cpp、Ollama、Docker、LM Studio、Jan 等多种方式本地运行,支持启动 OpenAI 兼容本地服务器和终端直接推理,也可在 Pi、Hermes、OpenClaw 等 Agent 工具中配置使用。

  2. Hugging Face · 新模型:uncensored54

    YueFong 发布 Qwen-Image-2.1 Uncensored GGUF 量化版

    YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版,用于本地图像生成。该版本移除内置安全检查器,可直接生成成人及敏感图像而不出现提示词拒答或黑图;提供 BF16 到 Q4_0 等多档量化(如 Q4_K_M 为 4.60 GB),并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。

    推荐理由:原文列全了各量化档位的文件体积与显存占用,还给出 ComfyUI 的部署步骤和文本编码器卸载方案,照做即可跑通本地生图。

  3. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。