mradermacher 发布 Ministral-3-3B-Instruct-2512-BF16-abliterated 的 i1-GGUF 量化版本
mradermacher 基于 Ministral-3-3B-Instruct-2512-BF16-abliterated 发布了 imatrix 量化 GGUF 版本,并提供 0.1 GB 的 imatrix 文件供用户自行制作量化。该模型为视觉模型,mmproj 文件存放于对应的 static 仓库中;静态量化版本另有单独仓库提供下载。
新闻、仓库与研究,按时间排列。
mradermacher 基于 Ministral-3-3B-Instruct-2512-BF16-abliterated 发布了 imatrix 量化 GGUF 版本,并提供 0.1 GB 的 imatrix 文件供用户自行制作量化。该模型为视觉模型,mmproj 文件存放于对应的 static 仓库中;静态量化版本另有单独仓库提供下载。
shihaoyang0423 发布 MGFlow 项目网站,用于论文 "Unifying Distributional Training for One-Step Visual Generation",提供交互式 demo、模型权重下载与样本浏览。站点为无构建依赖的静态页面,内置原生 interactive ImageBench 排行榜(2026-10-21 快照:76 个 All models / 37 个 Local),支持查看指标、切换视图和导出 SVG,通过 GitHub Pages 部署。
Perplexity 的 pplx-decider-v1.2 决策成本仅为 GPT 6 Luna(低推理)的十分之一,决策质量相同;pplx-decider-flash-v1.2 在 Decisions API 中对比 6 Luna 亦然,v1.2 还比 Jev 便宜 2.5 倍。两款模型均以 Apache 2.0 许可证开源。
研究者发布 Africa-Papers,这是迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、共 10.15 billion tokens,分 879 个 Parquet 分片,涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布,配有精确 BPE token 计数和 8 域分类体系,已在 Hugging Face Hub 的 AfriSpeech 组织下开源,用于支持非洲基础模型的持续预训练与领域评测。
Hugging Face 用户 mradermacher 发布 mistralai Ministral-3-3B-Instruct-2512 的 abliterated 处理版 GGUF 量化模型,基于 BF16 权重制作静态量化。该模型未被任何 Inference Provider 部署,下载量暂未被追踪。
koldfrontier 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 FP8 abliterated 完整权重,仅原地改写 52 个张量(attn.wo_b,第 10-35 层),lambda 2.5,架构不变,可直接用 vLLM 或 SGLang 按原配方部署。实测 1,207 条提示下拒绝率大幅下降,如 HarmBench 从 94.1% 降至 5.0%,过拒率略有改善;代价是一个安全工具的授权/未授权配对从 8/11 降到 0/11,另提供保留 6/11 配对的 lambda 1.0 overlay 版本。
同一新闻,精选展示《koldfrontier 发布 DeepSeek-V4.1-Flash-1017 abliterated 全量权重》
Hugging Face 用户 mradermacher 上架 Ministral-3-3B-Reasoning-UNCENSORED-heretic 的 GGUF 量化版本。该模型基于 Ministral-3-3B-Reasoning 的无审查版本,仓库页面未提供详细模型说明,下载量数据暂未显示。
pottokao 在 Hugging Face 上发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型,提供 abliterated 版本的 GGUF 格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持启动 OpenAI 兼容本地服务器,并兼容 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种工具。
作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。
推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。
HauhauCS 发布 Gemma-4-E4B-Uncensored-HauhauCS-Aggressive,基于 google/gemma-4-e4b-it 的 abliterated 无审查版本,0/465 拒答,不改动数据集与能力。模型为 4B 参数、131K 上下文、原生多模态,提供 Q8_K_P 至 Q2_K_P 多种 GGUF 量化,K_P 量化以约 5-15% 更大文件换取提升 1-2 级的质量,兼容 llama.cpp、LM Studio 等 GGUF 运行时。
Hugging Face 上线 chfm/Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusers 的 load_lora_weights 加载使用,触发词为 moss_xvstyle。该模型同时支持 Google Colab、Kaggle 等笔记本环境以及 Draw Things、DiffusionBee 等本地应用。
dealignai 在 Hugging Face 上架 Ornith-1.5-122B 的 ABLITERATED NVFP4 版本。该列表不含模型权重,权重与完整模型卡位于 dealignai/Ornith-1.5-122B-UNCENSORED-NVFP4 仓库,下载、评测结果和运行说明请使用该 UNCENSORED 仓库,基座模型为 ornith-ai/Ornith-1.5-122B。
Perturbador 在 Hugging Face 发布基于 Llama 3.2 3B 的无审查微调模型 llama-3.2-3b-uncensored-chat,已转换为 GGUF 格式并用 Unsloth 训练,速度提升 2x。模型提供 Llama-3.2-3B.Q4_K_M.gguf 文件,附 Ollama Modelfile 便于部署,可通过 llama-cli 运行,BOS token 行为已为 GGUF 兼容性调整。
dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE,提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。
AtomicChat 在 Hugging Face 发布 Ornith 1.5 122B 的去拒绝 GGUF 量化版,通过在 48 个 block 中移除残差流上的拒绝方向实现。英文拒绝率从 93.8% 降至 1.2%,俄语从 43% 降至 0%,MMLU 从 83.65% 到 83.90% 基本不变;提供 AD-IQ4_XS_S(71.2 GB)等多种 Atomic Dynamic 量化,方法遵循 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由:原文给出拒绝率前后对比、MMLU 复测和 KL 数据,读者可据此判断这个去对齐版本的实际代价。
Hugging Face 上发布 Qwen-Image-2.1 Uncensored 量化模型,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡,MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查或内容过滤,可直接生成成人、NSFW 及敏感图像,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b_int8_convrot 可卸载到系统内存以节省 9–17 GB 显存。
HxT9 在 Hugging Face 上架 Qwen3.8-Flash-Next-Uncensored 的 GGUF 量化版本,采用 Q4_K_M 与 Ngram-Q8_0 格式。该模型暂无模型卡,也未由任何 Inference Provider 部署,用户可登录添加硬件兼容信息。
BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本,默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S,4 分片共 91.70 GB,MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539(高 37.4%),优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理,不新增安全训练或内容审核。
s2czk 在 Hugging Face 上发布 Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusions 的 load_lora_weights 加载,使用触发词 moss_xvstyle 生成图像。该模型支持 Google Colab、Kaggle 等笔记本环境,以及 Draw Things、DiffusionBee 等本地应用。
Hugging Face 上架了 fang64/Qwen3.8-Flash-Next-Uncensored-mq4 模型仓库,README 目前为空,未提供模型说明。该模型未被任何 Inference Provider 部署,下载量也未纳入统计。
HIPREL-Group 开源可验证代码生成 benchmark VeriContest,基于 Rust 与 Verus,当前包含 1,006 道题目(722 道 LeetCode、284 道 Codeforces),每题配有形式化规范、judge 通过的 Rust 代码及 Verus 验证过的证明。数据集完整发布在 Hugging Face(Gax-c/VeriContest),另有固定 300 题的 VeriContest Lite 子集;仓库现已开放 Model 与 Agent 两个赛道的提交,以 pull request 形式进行,支持 SpecGen、CodeGen、ProofGen 和 End2End 四种评测。论文配套版本(arXiv:2605.08553)的主要评测使用 946 题范围。
Agnes AI 发布 agnes-3.0-qwen,一款约 180B 参数(512 专家、每 token 激活 10 个)的混合注意力 MoE 多模态推理模型,采用 Qwen Community License 1.0。该模型在 τ³-Banking 位列对比组第一,Terminal-Bench 2.1 距最佳模型约一分,IFBench 上超过 GPT-5.6 Sol (Max) 和 Claude Opus 4.8 (Max)。支持 1,048,576 token 上下文、65,536 最大输出、文本/图像/视频输入、工具调用及 xhigh/medium/low 三档推理力度。
dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B 激活)发布权重级 abliterated 无对齐版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,采用原生 FP8 权重、支持 1M token 上下文、视觉与工具调用,无需自定义 model.py 或运行时钩子,可直接按 base 模型加载。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
xtools-at 基于 unsloth/Ministral-3-3B-Reasoning-2512 发布去对齐版本,使用 Heretic v2.0.0.dev0 的 Arbitrary-Rank Ablation 方法,对第 9 至 20 层做消融。实测 100 次中拒绝次数从原版的 91 次降到 1 次,KL 散度为 0.0170。原模型为 Ministral 3 家族最小的 3.4B 语言模型加 0.4B 视觉编码器,支持 256k 上下文窗口,BF16 下可装入 16GB 显存,量化后低于 8GB,采用 Apache 2.0 许可证。
推荐理由:原文给出 Heretic 消融参数与拒绝率前后对比,读者可据此判断这个去对齐版本实际去掉了多少。
一位 r/LocalLLaMA 用户抱怨 Qwen 3.8 Flash Next 拒绝执行某些任务(如查找代码漏洞、扫描网络相关内容),询问哪里有无审查版 GGUF 量化,且需保留全精度 BF16 N-gram;其目前使用的是 unsloth 量化版本。
Gradium 发布首个开源项目 Phonon,包含 31M 和 40M 两个可在设备端运行的小型 TTS 模型。推理栈完全开源,支持 10 多种后端(CPU、GPU、NPU),其中大部分用 Rust 编写。团队表示欢迎社区反馈,并计划推出更多开源版本。
Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上,用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持,batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×;transformers 测试套件在 TPU 上 96.5% 通过,已报告 34 个问题并修复 19 个。
推荐理由:官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法,还附带 kernel 加速倍数和 CI 通过率等实测数据。
IBM Research 发布 ALTK-Evolve,通过 GPT-4.1 从智能体自身轨迹中蒸馏行为规则并追加到系统提示词,在不更新权重的情况下让 stock ReAct 智能体在 τ²-bench retail 达到 Pass^4 67.5%,登顶 2026 年 10 月 12 日榜单快照。换用 gpt-5.5 后 airline 以 82.0% 位居第一;对比显示 retail 需 292 条 lossless 全集才见效,airline 的 14 条 sup3 核心反而更可靠,代价主要是输入 token 成本上升,对话轮数略降。
推荐理由:不更新权重,仅靠从轨迹中蒸馏的提示词级规则就把 stock ReAct 智能体推上 τ²-bench 榜首,方法可直接复用。
burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型,采用 Genesis 后训练数据再生与校准算法,通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声,保留 99% 信号与学习梯度,无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文(可扩展至 1,000,000),支持文本、图像和视频理解,推荐 NVFP4 量化,兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。
burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored 的 Genesis Hermes GGUF 模型,将 DJLougen Hermes 微调中约 2k 块 FFN 专家张量数据迁移到无审查基座。该模型采用 Genesis 后训练张量修复算法,基于 Marchenko–Pastur 分布降噪,不涉及再训练。总参数 35B、每 token 激活约 3B(MoE,256 专家),原生 262K 上下文可经 YaRN 扩展至 1M,推荐 NVFP4 或 APEX 量化。
huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。
hotocooo 发布针对 DavidAU/Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF(IQ3_S)微调的 DFlash2 草稿模型,基于 incoai/Qwen3.8-Flash-Next-DFlash2 训练 3000 步,每 7-token 块接受草稿数从 3.568 提升至 3.796。该草稿模型非独立语言模型,输出与目标模型 greedy 结果完全一致。
Dyluhn 于 2026-10-20 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 EXL3 量化版本,总体 4.03 bpw,采用 exllamav3 1.5.2 与 turboderp 的 4.05 设置,所有 routed expert 压至 4 bpw、attention 6 bpw。模型引入层内共享输入 sign/scale 向量(suh)以支持开发中的 radiance-exl3 内核,n-gram 表沿用 turboderp 版本且与基座逐字节一致。该仓库未在 exllamav3 中实测,质量未测量;许可证为 Qwen Community License 1.0。
Harsha001 在 Hugging Face 发布 LTX-2.5 22B dev 的去审查版 ROCmFPX GGUF 权重,供 stable-diffusion.cpp 在 AMD GPU 上运行。视频 transformer 为 Q4_0_ROCMFP4 4 位格式,Gemma 4 12B 文本编码器经 Heretic 拒绝编辑去审查,拒绝率从 99/100 降到 6/100(KL 散度 0.12),只编辑第 24-39 层的注意力输出投影,并将该差异以 FP32 合入 Lightricks 调优权重,其余张量逐位保留。
推荐理由:作者给出拒绝率前后对比和逐张量差异统计,还解释了为何文本编码器不用 4 位量化,方法可复用。
Hugging Face 发布 AnyLanguageModel 1.0,它是 Apple Foundation Models 框架的 drop-in 替代,可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成,托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点;同日发布 swift-huggingface 1.0 与 swift-xet 1.0,并可运行于 Linux。
推荐理由:官方回顾了一年迭代脉络,并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法,对 Swift 开发者有直接参考价值。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由:Hugging Face PyTorch 团队亲述 MPS 后端改进细节,给出各模型的实测吞吐数字,Mac 上跑模型的读者可以对照评估升级收益。
yushen100 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,主打去对齐与思考 token 缩减(约 1/2 至 1/10),8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。去对齐用 Heretic v1.2.0+ 的 ARA 方法,Stage 1 拒绝数从 99/100 降到 0/100(KL 散度 0.0535),Stage 2 后为 11/100、KL 0.0025。
同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 i1-GGUF 量化版本,示例量化为 Q2_K。该模型可通过 llama.cpp 在本地运行,支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理,也可用 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent。
GitHub 上新开源的 medical-nlp-project 仓库,实现医学领域关键短语的提取与生成。项目使用 TF-IDF、YAKE、TextRank、KeyBERT 等 NLP 方法,并调用 HuggingFace 平台上的专用模型。
RTP-LLM 是阿里巴巴基础模型推理团队开发的 LLM 推理加速引擎,已在淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE 和 Lazada 等业务中广泛使用。2025 年 9 月发布 0.2.0 版本,增强性能并新增功能;2025 年 1 月支持 Prefill/Decode 分离,并在 Yitian ARM CPU 上支持 Qwen 系列模型与 bert 嵌入模型。引擎采用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA kernel,支持 WeightOnly INT8/INT4 量化、自适应 KVCache 量化、Speculative Decoding,以及多机多 GPU 张量并行和单实例多 LoRA 服务。