跳到正文
10月18日周日
  1. Hugging Face · 新模型:abliterated41

    bigfat/DeepSeek-V4.1-Flash-Abliterated-GGUF 发布

    bigfat 发布 DeepSeek-V4.1-Flash-Abliterated 的 DwarfStar Q2 GGUF 量化版本,基于 s-zaizen 用 Hereteric 对 deepseek-ai/DeepSeek-V4.1-Flash 去审查后的 checkpoint(拒绝关键词率 97/100 → 24/100)。提供 imatrix 校准版(推荐)与 bootstrap 版两个文件,imatrix 版 NLL 0.359,与原版 Q2(0.346)基本持平,需在 128 GB Mac 上用 --ssd-streaming 运行。

  2. Hugging Face · 新模型:uncensored67

    GLM-5.3 Uncensored Maya 量化版发布:753B MoE 压缩至约 2.5 bit 并移除拒绝行为

    nofacedfl 在 Hugging Face 发布 GLM-5.3 Uncensored Maya 量化包,将 Z.AI 的 753B MoE 模型用 GPTQ 压到约 2.5 bit,配合 Project Maya 的 GLM-5.3 移植版引擎运行。在 7 张 GPU(5× RTX 4090 48 GB + 2× A100 40 GB)上达 43–57 tokens/s,支持 512K 上下文,JailbreakBench 拒绝率从原版 39/40 降到 2/40,其中量化后为 6/40,再通过 78 层×3 方向的拒绝向量在运行时投影移除降至 2/40;对 FP8 的 KL 为 0.204、top-1 一致率 88.4%。

    推荐理由:原文给出完整的去对齐实现路径和 JailbreakBench 拒绝率前后对比,还附量化精度损失数据,可复现可核查。

  3. Hugging Face · 新模型:abliterated68

    Piecrust 发布 GLM-5.3-Flash-FP4-Abliterated 去对齐版本

    Piecrust 将 Huihui 的拒绝方向消融编辑重新应用到 NVIDIA 的 GLM-5.3-Flash-FP4-Local 权重上,发布去对齐版本。仅改动 15 至 36 层的 44 个矩阵(self_attn.o_proj 与 mlp.shared_experts.down_proj),其余权重与原检查点逐字节一致;因 NVIDIA 做过量化感知蒸馏,编辑以 rank-1 方式重算而非直接套用 delta,重编码后保留 91-95% 编辑强度。实测在 2× RTX PRO 6000 Blackwell 上拒绝探针 12 问 0 拒绝(原版拒绝 2 次),GSM8K 94/96 对 95/96,解码速度基本持平;需 NVIDIA 列出的容器环境,上游 vLLM 暂不支持。

    推荐理由:原文给出逐字节校验、拒绝探针前后对比和速度质量数据,可据此判断这个去对齐版本改了什么、代价多大。

  4. Hugging Face · 新模型:uncensored64

    dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包

    dealignai 基于 LibertAI 的 EXL3 2.9bpw 量化包(388 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文、thinking 开关与 vision/MTP/Engram 权重保留。实测 MMLU-500 从 67.40% 降至 63.20%(−4.20pp),HarmBench-320 chat 模式 320 项全部 COMPLY;在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 68 tok/s 解码、1105 tok/s 预填充。

    推荐理由:发布方给出了 MMLU 前后对比和 HarmBench 拒绝率数据,可以量化评估去对齐带来的能力损失。

  5. Hugging Face · 新模型:abliterated54

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布

    alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。

    推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。

  6. Hugging Face · 新模型:abliterated40

    Loke-60000 发布 Qwen3.8-Flash-Next-FP4-Local-abliterated 去拒答版模型

    Loke-60000 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local-abliterated,基于 NVIDIA 的 Qwen3.8-Flash-Next-FP4-Local(revision b9ce18a)投影移除两个拒答方向,仅修改 80 个张量、21 个分片中的 2 个,量化格式不变。模型不再拒答,可能执行删除数据等破坏性请求;未跑任何 benchmark,需搭配基础模型其余 19 个分片使用,遵循 NVIDIA Open Model Agreement 和 Qwen Community License 1.0。

  7. Hugging Face · 新模型:abliterated32

    edp1096/Huihui-GLM-5.3-Flash-abliterated-FP4-Local 发布

    Hugging Face 用户 edp1096 发布 GLM-5.3-Flash 的非官方 NVIDIA FP4-Local 衍生版本,将 Huihui Q8 abliterated 权重的差量应用到 nvidia/GLM-5.3-Flash-FP4-Local 基座。更新了第 15–36 层的 44 个 attention-output/shared-expert-down 矩阵和 22 个 scale 张量,其余张量保留,无需额外 QAD 训练。运行需两台 DGX Sparks(TP2)和 B12X vLLM;42 个权重文件全部校验通过,8/8 冒烟测试通过,最长实测输入 64,481 tokens。

  8. Hugging Face · 新模型:uncensored47

    Qwen3.8-Flash-Next-Uncensored NVFP4 量化版发布,支持 2× GB10 部署与 1M 上下文

    Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 GB10 构建镜像(Apache-2.0),可在 2× DGX Spark(GB10,TP=2)上用 vLLM 部署,支持 1M 上下文(YaRN ×4,max_position_embeddings 1048576),KV 池 3.76M tokens。实测对比 dev461 构建:prefill 8k–131k 提升 9–12.5%(约 3.7k tok/s),1M token TTFT 从 411s 降至 365s,KV 容量 ×1.95,质量 97.75% top-1 一致、NLL +0.019%。

  9. Hugging Face · 趋势模型70

    Unsloth 放出 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本

    Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版,1-bit 可在 128GB+ 内存设备运行,3-bit 需 256GB,全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新,官方基准显示推理、编码、Agent 和视觉任务均有提升,如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2;模型采用 MIT 许可,支持 1M token 上下文,需使用 llama.cpp PR 或 Unsloth Desktop 运行,prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。

    推荐理由:官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比,以及量化档位对应的内存需求,可据此评估该版本的实际收益。

  10. Hugging Face · 新模型:abliterated74

    Qwen3.8-27B 去拒绝消融版 GGUF 量化发布,附各档量化实测对比

    vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化,该模型移除了拒绝行为,可回答原版 Qwen3.8 拒答的请求,目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比:MMLU-Pro(4200 题、5-shot、thinking off)差异均在 95% 置信区间内不显著,BF16 为 79.60%;WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。

    推荐理由:作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比,还实测了 16 GB 显存下的上下文与速度表现。

  11. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统,训练图、适配器和优化器留在 CPU,并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护,支持可恢复执行和热节流以作为后台任务运行,在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由:论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法,涉及输入梯度实现、精度选择和端侧个性化工作负载,思路可迁移。

  12. Hugging Face · 新模型:uncensored60

    sky3c 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版,ARC-C 达 735

    sky3c 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,用 Heretic v1.2.0 的 ARA 方法去审查,8 bit 拒绝率从 99/100 降到 0/100,KL 散度 0.0535。模型将思考 token 减至原版的 1/2 到 1/10,8 bit ARC-C 735、ARC-E 882,4 bit ARC-C 719,作者称在全部 7 项基准上超过原版 Qwen3.8-27B。提供常规与 MTP 两种 GGUF 量化,Q4_K_S 下常规版约 75 t/s、MTP 版可超 90 t/s(5090 实测),支持 256k 上下文与视觉(需另下 mmproj 文件),工具调用建议 Q4_K_M 以上量化。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  13. Hugging Face · 新模型:abliterated38

    Xing4.0-29B-A4B APEX-I-MiniPlus-V2.1 Abliterated GGUF 量化发布

    Hugging Face 上发布 Xing4.0-29B-A4B 的 Abliterated 版 GGUF 量化,基于 huihui-ai/Huihui-Xing4.0-29B-A4B-abliterated,采用逐 tensor 混合精度布局,文件 13.76 GB(3.42 BPW),WikiText-2 PPL 7.7238,较 BF16 源(7.3060)仅上升 5.71%,达 Q5_K_M 级质量。该模型为 29B 总参数、每 token 约 4B 激活的 MoE 架构,含 mHC、MLA 与 MTP,原生 256K 上下文,可扩展至 512K,适合消费级 GPU 与 RAM/GPU 混合部署。

  14. Hugging Face · 新模型:uncensored38

    Qwen-Image-2.1 无审查版 GGUF 量化发布

    NeverWantedJr 基于 Qwen/Qwen-Image-2.1 上游权重发布无审查版 GGUF 量化文件,提供 BF16(14.23 GB)到 Q4_0(4.15 GB)多种规格,推荐 Q4_K_M(4.60 GB)兼顾体积与质量。该版本无内置安全检查器,可直接生成成人及 NSFW 内容,配套 qwen3vl_8b 文本编码器与 VAE 文件,通过 ComfyUI 与 ComfyUI-GGUF 本地运行,文本编码器卸载到内存可节省 9–17 GB 显存。

10月17日周六
  1. Hugging Face · 新模型:abliterated36

    humanizer-abliterated 11.96B 模型的 FP8-DYNAMIC 量化版发布

    moeshawky 发布 distributedcognition/humanizer-abliterated(11.96B 参数,Gemma4UnifiedForConditionalGeneration 架构)的 FP8-DYNAMIC 量化版,体积 13.02 GB,为 BF16 原版的 54.4%,仅对 328 个语言模型 linear 层做 E4M3 权重与动态激活量化,嵌入、lm_head 及视觉/音频模块保持 BF16。该版本经结构验证可运行,可在 vLLM、SGLang 或 Transformers 中直接加载,但未做 benchmark,无 perplexity 或吞吐数据。许可证为 apache-2.0,需遵守上游基础模型的附加条款。

  2. Hugging Face · 新模型:abliterated34

    humanizer-abliterated INT8 W8A8 量化版发布:11.96B 模型体积降至 BF16 的 54%

    moeshawky 发布 distributedcognition/humanizer-abliterated 的 INT8 W8A8 动态量化版,基于 llmcompressor 对 11.96B 参数模型中的 328 个语言模型线性层做 8-bit 量化,体积从 23.92 GB 降至 13.02 GB(54.4%),embedding 与 lm_head 保持 BF16。实测 INT8 权重 SNR 约 39.9 dB,logits 分布与 BF16 源一致;未做 MMLU 重评与吞吐测试。模型可直接在 vLLM、SGLang 或 Transformers 中加载,采用 apache-2.0 许可。

  3. Hugging Face · 新模型:abliterated33

    Hemmingway-1-27B-abliterated FP8-DYNAMIC 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 FP8-DYNAMIC 8-bit 量化版,基于 27.32B 参数的 BF16 原模型,体积从 54.64 GB 降至 30.30 GB(55.5%)。仅量化语言模型解码器内 496 个 linear 层权重(F8_E4M3、per-channel 对称),激活为 per-token 动态量化,lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 FP8 权重 SNR 约 31.6 dB,可在 vLLM、SGLang 或 Transformers 直接加载,未做 benchmark。

  4. Hugging Face · 新模型:abliterated28

    Hemmingway-1-27B-abliterated 的 INT8 W8A8 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版,基于 27.32B 参数的 BF16 原模型,体积从 54.64 GB 降至 30.30 GB(55.5%),仅量化语言模型解码器中的 496 个 linear 层,lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB,logits 分布接近原模型;可直接在 vLLM、SGLang 或 Transformers 中加载,尚未做 benchmark、吞吐或消融鲁棒性测试,许可证为 apache-2.0。

  5. Hugging Face · 新模型:abliterated20

    Sindexter/qwen2.5-7b-abliterated-gguf 模型在 Hugging Face 上提供 llama.cpp 等多种本地运行方式

    Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面,提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理,也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行,并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。

  6. Hugging Face · 新模型:uncensored26

    Baekpica 发布 GLM-5.3-Flash-Uncensored VQ GGUF 量化转换(转换进行中)

    Baekpica 正在将 abliterated 版 GLM-5.3-Flash-Uncensored-FP8 转换为实验性 GVQ1/GGUF v3 格式(Q4_K nonexpert v3),权重上传前仓库暂不可加载。转换复用 GLM-5.3-Flash-VQ-GGUF 的结构:36,288 个路由专家矩阵用八维 VQ(K8192,每权重 1.625 index bits),316 个非专家矩阵用 Q4_K,面向 DGX Spark (GB10) 服务。模型经 abliteration 移除了安全对齐,采用 MIT 许可,仅声明研究用途。

  7. Hugging Face · 新模型:uncensored25

    webmp3 发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored GGUF 模型

    webmp3 在 Hugging Face 上发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored 的 GGUF 版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理,也可在 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等客户端中使用。

  8. arXiv · cs.CL53

    Muse Glimmer 30B 端侧智能体模型论文发布,Apache 2.0 开源

    论文介绍 Muse Glimmer,一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型,集多步推理、工具调用与失败恢复于一体,支持文本与图像输入,训练数据覆盖一百多种语言,量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B,模型以 Apache 2.0 许可发布。

    推荐理由:论文给出30B级端侧Agent模型在同尺寸模型上的基准对比,对关注本地部署智能体的人有参考价值。

  9. Hugging Face · 趋势模型69

    MiniMax 发布 MiniMax-M3.1-Flash:原生多模态 MoE 模型,1M tokens 上下文

    MiniMax 发布 MiniMax-M3.1-Flash,一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型,总参数约 428B、每 token 激活 23B,支持文本、图像、视频输入,上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练,以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。

    推荐理由:官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比,并说明评测设置,读者可据此自行评估实际水平。

  10. Hugging Face · 新模型:uncensored44

    Qwen3.8-27B Defiance Uncensored (MTP, GGUF) 发布:40 种模式的无审查版

    ttindall 将 DavidAU 的 Turbo-Brilliance "AI Construct" 模式套用到 HauhauCS 的无审查 Qwen3.8-27B 上,发布 Defiance Uncensored GGUF,移除拒绝层,提供 Joker、Dr. House、20-agent Einstein panel 等 40 种模式。权重与上游逐字节一致(866 个 tensor 全部核对),IQ4_XS 量化 15.7 GB 可在 24 GB 显卡跑 131K 上下文,RTX 4090 上 instruct 模式解码 86-90 tok/s,兼容 llama.cpp、LM Studio 和 Ollama。

  11. Hugging Face · 新模型:abliterated18

    mradermacher 发布 Vietnamese-4B-Chat-abliterated 的 i1-GGUF 量化版本

    mradermacher 在 Hugging Face 上发布 Vietnamese-4B-Chat-abliterated 的 imatrix 加权 GGUF 量化版本,提供从 i1-IQ1_S(1.5GB)到 i1-Q6_K(3.6GB)的多种量化文件,其中 Q4_K_M 被标注为快速且推荐,Q4_K_S 为大小/速度/质量最优。该模型为视觉模型,mmproj 文件放在静态仓库中,静态量化版本另行提供。

  12. Hugging Face · 新模型:abliterated70

    BoldingBuilds 发布 Muse Spark Open 816B 的无审查 GGUF 版本

    BoldingBuilds 发布 Meta Muse Spark Open(816B 总参数 / 42B 激活)的无审查 abliterated 版本,直接在 Unsloth UD-IQ1_S GGUF 上原位编辑,全程不做 BF16 反量化。拒绝率从原版 85.06% 降到 1.30%(StrongREJECT 留出集),ForbiddenQuestions 上从 60.00% 降到 0.00%,XSTest 过度拒绝保持 0%,MATH-30 为 25/30 对原版 26/30。方法为对 62 层中第 10-53 块做读写侧投影(λ=1.0,每块单独估计拒绝方向,共 61 个方向),编辑 309 个张量、256 个路由专家未动,λ=0 时输出与输入字节一致作为自检门槛。

    推荐理由:原文给出拒绝率前后对照与逐块方向估计方法,读者可据此判断这个去对齐版本实际去掉了多少、代价多大。

  13. Hugging Face · 新模型:abliterated22

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 模型使用指南

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 是一个 abliterated 版本的越南语 4B Chat 模型 GGUF 量化仓库,提供 Q4_K_M 等量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 上运行,支持启动 OpenAI 兼容的本地服务器或终端直接推理,也可通过 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。