mradermacher 发布 LFM2.5-24B-A2B-abliterated 的 GGUF 量化版本
mradermacher 在 Hugging Face 上发布了 LFM2.5-24B-A2B-abliterated 的 GGUF static quants 量化模型。该模型目前未被任何 Inference Provider 部署,下载量也未被追踪。
新闻、仓库与研究,按时间排列。
mradermacher 在 Hugging Face 上发布了 LFM2.5-24B-A2B-abliterated 的 GGUF static quants 量化模型。该模型目前未被任何 Inference Provider 部署,下载量也未被追踪。
atrezonator 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 EfficientThink 无对齐版本,经 SFT 与 SimPO 后训练,拒答评测为 10 类 140 条提示中 4/140(2.9%)。同协议对比显示 SimPO 后 GPQA 升 3.54pp、LCB 升 5pp、MMLU 降 1.80pp;仓库提供 GGUF 六档、NVFP4、INT8-W8A8-QAT、AWQ-W4A16、静态 FP8 等多套量化包及 DFlash2/MTP draft,并附 DGX Spark 与 RTX PRO 6000 上的冻结实测成绩。
推荐理由:原文给出拒答率 4/140 的实测数据和 SimPO 前后 GPQA/MMLU/LCB 对比,读者可据此判断去对齐与能力保留的实际代价。
mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。
Hugging Face 上线 mradermacher 制作的 Ministral-3-8B-Reasoning-UNCENSORED-heretic GGUF 量化版本,该模型为无审查的推理模型。仓库页面显示模型大小约 0.4B 参数、架构为 clip,具体下载量数据暂未提供。
lilcheaty 发布了 RecursiveSI/flint 的 abliterated BF16 衍生版本,按 Arditi et al. 2024 的拒绝方向方法从第 20 层估计方向并编辑了 12,131 个张量,采用 Apache 2.0 许可。Q3_K_M 量化版在 20 条保留提示上显式拒绝从 20/20 降到 0/20,20 条编码提示双方均 0 拒绝且 40/40 完成回答,作者提醒该小规模对比不代表通用安全或能力基准。运行需 llama.cpp PR #30928 等补丁,GGUF 转换版在 lilcheaty/flint-abliterated-GGUF。
推荐理由:作者给出了拒绝方向的估计方法与 20 条保留提示上的拒绝率前后对比,还说明了编辑未覆盖的局限。
Heisengerg 在 Hugging Face 上发布 MOSS-Image NSFW 去审查 LoRA,基于 OpenMOSS-Team/MOSS-Image-SFT 扩散模型加载使用,提示词触发词为 moss_xvstyle。该权重可用 Diffusers 通过 pipe.load_lora_weights 加载,也可在 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用中运行。
cinnybun02 在 Hugging Face 发布 Spark-X2.6-4B-Abliterated 的 Q5_K_M GGUF(2.77 GiB),用 llama.cpp 的 gguf_new_metadata.py 仅改元数据,将 Sharp-Spark v1.0.0 模板内置为 tokenizer.chat_template,权重与源文件逐字节一致。该模型为 XHToken 的 4.1B dense thinking model,经 Heretic 去除 53 个张量中的 refusal 方向;spark2_5 架构下 131k 上下文时 KV cache 量化后约 1.9-2.5 GiB。
Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示,Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐,1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒,整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored(无审查)版本形式开源在 Hugging Face。
Hugging Face 上线 Comfy-Org/Fibo-2.0,为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件,包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本,文本编码器为 qwen3vl_4b,VAE 为 flux2-vae。权重仅限非商业用途,商用需与 BRIA AI 另行协议。
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署方式,并支持 image-text-to-text 多模态推理。模型可通过 vLLM 或 SGLang 启动服务后以 OpenAI 兼容 API 调用。
Hugging Face 上架了 liueeeeaa/qwen-image-21-uncensored-omni-lora-v01-comfy-fused 模型仓库。该模型目前未部署到任何 Inference Provider,下载量未被统计,README 文件为空,暂无更多模型细节。
Riyan200324200324 基于 DeepSeek-R1-Distill-Qwen-32B 发布去审查版本 DeepSeek-R1-Distill-Qwen-32B-Uncensored,采用 Guilherme34 的 uncensor 数据集与 QLoRA 微调,遵循 MIT 许可。模型需手动设置指定 system prompt 以获得去审查输出,训练使用 2 x RTX 4090(24 GiB),共 4 个 epoch;因完全依从请求,建议自行加对齐层。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-9B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署的官方用法示例,支持 image-text-to-text 多模态推理,并可通过 OpenAI 兼容 API 调用。
Nefarious1313 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated 的 GGUF 静态量化版本,并提供多模态补充文件 mmproj-Q8_0 与 mmproj-f16。量化档位从 Q2_K(1.9GB)到 f16(8.5GB)共 13 种,其中 Q4_K_S(2.7GB)和 Q4_K_M(2.8GB)速度快、被推荐使用,Q8_0(4.6GB)质量最佳。
DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。实测显示烘焙版拒绝数为 0/100(开发集)与 3/100(保留集),与原 adapter 的 KL 差异约 0.037 nats;散文解码约慢 12%(34.8 vs 39.4 tok/s),代码速度基本持平,需 B12X vLLM 运行时,serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。
推荐理由:原文给出了拒绝率与 KL 的实测对比和单机性能数据,读者可以据此判断这个去对齐版本的实际代价与效果。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。
推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。
ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。
Hugging Face 上线 wserdf6tgb/openmoss-image-NSFW-uncensored,这是一个基于 OpenMOSS-Team/MOSS-Image-SFT 的 LoRA 权重,用于生成无审查的 NSFW 图像。页面提供了用 Diffusers 加载 LoRA 权重的示例代码,并附 Google Colab、Kaggle、Draw Things、DiffusionBee 等使用入口。
prithivMLmods 在 Hugging Face 发布 Qwen3.8-27B-abliterated-MTP-GGUF 模型,提供 BF16 量化版本。该模型为图像-文本到文本的多模态模型,可在 Transformers、llama.cpp、vLLM、SGLang、Ollama 等多种框架中加载运行,并支持通过 OpenAI 兼容 API 进行本地部署和调用。
Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。
推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。
mradermacher 在 Hugging Face 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct 的 bf16 GGUF 量化版本(i1)。该模型为去审查(uncensored)指令模型,提供 GGUF 格式便于本地硬件部署。
mradermacher 在 Hugging Face 上架了 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 IQ3_M 等量化格式。页面给出 Transformers、llama.cpp、Ollama、Docker、LM Studio、MLX 等多种本地运行与部署方式,可通过 llama-server 启动 OpenAI 兼容本地服务器。
mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。
推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。
SOMEHOTMEAL 发布的 LFM2.5-24B-A2B-abliterated 模型已上线 Hugging Face,参数规模 24B,提供 Safetensors 格式及 F32、BF16 张量类型。该模型暂无模型卡,也未部署到任何 Inference Provider,目前无下载数据。
Hugging Face 上架模型仓库 dsfsfdff/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-GGUF,提供 IQ3_S 量化版本。文档给出通过 llama.cpp、vLLM、Ollama、Docker 等工具运行该模型的具体命令,可启动 OpenAI 兼容 API 的本地服务器或在终端直接推理。
基于 XHToken/Spark-X2.6-4B 的去审查版本,用 Tema_Q-Abliterated v1.1.1(SCAPE 算法)从权重中消融拒绝方向,完整生成测试拒绝 0/100,KL 散度 0.0353。SCAPE 代理目标比常规全生成评估快约 49 倍,CPU 即可运行。用法与基础模型一致,支持 transformers、vLLM、llama.cpp 等。
NVIDIA 发布 Kumo Forecast(前身为 NV-Tesseract Forecasting),一个多变量时间序列预测模型,基于 MOMENT-1-large 约 340M 参数编码器加可训练预测头。其 DARR 模式通过 k-nearest-neighbor 检索历史模式并与直接预测融合,并提供滞后与特征归因等可解释性输出。模型以 Apache 2.0 许可开源,支持 256 至 2048 的输入序列长度。
Hugging Face 上架了 Moss-image-nsfw-uncensored-lora,一个用于图像生成的 NSFW 去审查 LoRA 权重模型。页面提供了基于 Diffusers 库的加载与推理示例代码,需配合基座模型使用,并支持 Google Colab、Kaggle 等笔记本环境和 Draw Things 等本地应用。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct-bf16-GGUF 量化模型,提供 Q4_K_S 等量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理。
mradermacher 在 Hugging Face 上架 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 Q4_K_S 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
mradermacher 在 Hugging Face 上发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本。文档给出通过 llama.cpp、Ollama、Docker 等工具运行 Q4_K_S 量化文件的命令,可直接启动 OpenAI 兼容本地服务器或在终端推理。
xtools-at 在 Hugging Face 放出 Ministral-3-8B-Reasoning-2512 的去对齐版本,基于 Heretic v2.0.0.dev0 Arbitrary-Rank Ablation(ARA)对第 13 至 25 层做消融。实测 100 次拒绝率从原模型的 96/100 降到 6/100,KL 散度为 0.0839;原模型为带视觉能力的 8.4B 语言模型加 0.4B 视觉编码器,支持 256k 上下文,BF16 需 24GB 显存,量化后低于 12GB。
推荐理由:原文给出 Heretic ARA 消融参数与拒绝率从 96/100 降到 6/100 的前后对比,KL 散度数据可直接评估去对齐改动幅度。
Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X,基于 Qwen3-14B,用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%(关闭思考),比起点 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800,分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU,可用 vLLM 部署,支持作为 agent 工具调用,未做临床验证、不可用于医疗决策。
推荐理由:原文给出五项 DNA 基准得分、成本对比和完整训练配方,读者可以据此评估这个 DNA 语言模型的实际水平与用法。
mradermacher 在 Hugging Face 发布 Rice-Cracker-Qwen3.5-0.8B-Abliterated-Base 模型的 i1-GGUF 量化版本,模型参数量为 555k,采用 abliterated(去插话微调)处理,托管于 Hugging Face 仓库,支持用户登录后查看硬件兼容性信息。
Hugging Face 上的 mradermacher/Qwopus3.5-27B-v3-Abliterated-i1-GGUF 提供 Q2_K 等量化版本,可通过 llama.cpp 在 macOS、Linux 和 Windows 上以 `llama serve` 启动本地 OpenAI 兼容服务器或在终端直接推理,也支持 Ollama、Docker Model Runner 运行,并可接入 Pi、Hermes、OpenClaw 等工具。
LxBarn 基于 unsloth/Ministral-3-3B-Reasoning-2512,用 Heretic v2.0.0.dev0 的 ARA 方法制作去审查版本。去审查后拒绝率从 91/100 降至 1/100,KL divergence 为 0.0170。该 3.4B 语言模型加 0.4B 视觉编码器的推理模型支持 256k 上下文,BF16 下可装入 16GB VRAM,量化后低于 8GB,采用 Apache 2.0 开源协议。