mradermacher 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化版本
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型,提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。
新闻、仓库与研究,按时间排列。
mradermacher 在 Hugging Face 发布 LFM2.5-24B-A2B-abliterated 的 i1-GGUF 量化模型,提供按大小排序的多种量化版本及 0.2GB 的 imatrix 文件供自行制作量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。
EsteefAi 在 Hugging Face 发布 ttindall 的 Qwen3.8-27B-Defiance-Uncensored-MTP-GGUF 镜像,文件与原版逐字节一致(SHA-256 相同),采用 apache-2.0 许可。镜像旨在保证 Philibert 安装可用,支持通过 Ollama 拉取 IQ4_XS 和 Q6_K_P 两种量化版本。
mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本,提供从 Q2_K(0.8GB)到 f16(3.2GB)共 12 种规格,其中 Q4_K_S、Q4_K_M 标注为快速推荐,Q8_0 质量最佳。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。
mradermacher 在 Hugging Face 上发布了 LFM2.5-24B-A2B-abliterated 的 GGUF static quants 量化模型。该模型目前未被任何 Inference Provider 部署,下载量也未被追踪。
atrezonator 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 EfficientThink 无对齐版本,经 SFT 与 SimPO 后训练,拒答评测为 10 类 140 条提示中 4/140(2.9%)。同协议对比显示 SimPO 后 GPQA 升 3.54pp、LCB 升 5pp、MMLU 降 1.80pp;仓库提供 GGUF 六档、NVFP4、INT8-W8A8-QAT、AWQ-W4A16、静态 FP8 等多套量化包及 DFlash2/MTP draft,并附 DGX Spark 与 RTX PRO 6000 上的冻结实测成绩。
推荐理由:原文给出拒答率 4/140 的实测数据和 SimPO 前后 GPQA/MMLU/LCB 对比,读者可据此判断去对齐与能力保留的实际代价。
mradermacher 在 Hugging Face 上提供 Ministral-3-8B-Reasoning-UNCENSORED-heretic-i1 的 GGUF 量化版本,支持 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具以 OpenAI 兼容服务器或命令行方式本地运行,也可接入 Pi、Hermes、OpenClaw 等智能体工具。
Hugging Face 上线 mradermacher 制作的 Ministral-3-8B-Reasoning-UNCENSORED-heretic GGUF 量化版本,该模型为无审查的推理模型。仓库页面显示模型大小约 0.4B 参数、架构为 clip,具体下载量数据暂未提供。
lilcheaty 发布了 RecursiveSI/flint 的 abliterated BF16 衍生版本,按 Arditi et al. 2024 的拒绝方向方法从第 20 层估计方向并编辑了 12,131 个张量,采用 Apache 2.0 许可。Q3_K_M 量化版在 20 条保留提示上显式拒绝从 20/20 降到 0/20,20 条编码提示双方均 0 拒绝且 40/40 完成回答,作者提醒该小规模对比不代表通用安全或能力基准。运行需 llama.cpp PR #30928 等补丁,GGUF 转换版在 lilcheaty/flint-abliterated-GGUF。
推荐理由:作者给出了拒绝方向的估计方法与 20 条保留提示上的拒绝率前后对比,还说明了编辑未覆盖的局限。
Heisengerg 在 Hugging Face 上发布 MOSS-Image NSFW 去审查 LoRA,基于 OpenMOSS-Team/MOSS-Image-SFT 扩散模型加载使用,提示词触发词为 moss_xvstyle。该权重可用 Diffusers 通过 pipe.load_lora_weights 加载,也可在 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用中运行。
一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目,使用约 1MB 的 TinyShakespeare 文本(1,115,394 字符、65 个字符类别),字符级 tokenize,模型 3.24M 参数,上下文窗口 256 字符。经 next-token prediction 预训练,选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19,并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。
cinnybun02 在 Hugging Face 发布 Spark-X2.6-4B-Abliterated 的 Q5_K_M GGUF(2.77 GiB),用 llama.cpp 的 gguf_new_metadata.py 仅改元数据,将 Sharp-Spark v1.0.0 模板内置为 tokenizer.chat_template,权重与源文件逐字节一致。该模型为 XHToken 的 4.1B dense thinking model,经 Heretic 去除 53 个张量中的 refusal 方向;spark2_5 架构下 131k 上下文时 KV cache 量化后约 1.9-2.5 GiB。
Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示,Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐,1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒,整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored(无审查)版本形式开源在 Hugging Face。
Hugging Face 上线 Comfy-Org/Fibo-2.0,为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件,包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本,文本编码器为 qwen3vl_4b,VAE 为 flux2-vae。权重仅限非商业用途,商用需与 BRIA AI 另行协议。
privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.8-27B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署方式,并支持 image-text-to-text 多模态推理。模型可通过 vLLM 或 SGLang 启动服务后以 OpenAI 兼容 API 调用。
Hugging Face 上架了 liueeeeaa/qwen-image-21-uncensored-omni-lora-v01-comfy-fused 模型仓库。该模型目前未部署到任何 Inference Provider,下载量未被统计,README 文件为空,暂无更多模型细节。
Riyan200324200324 基于 DeepSeek-R1-Distill-Qwen-32B 发布去审查版本 DeepSeek-R1-Distill-Qwen-32B-Uncensored,采用 Guilherme34 的 uncensor 数据集与 QLoRA 微调,遵循 MIT 许可。模型需手动设置指定 system prompt 以获得去审查输出,训练使用 2 x RTX 4090(24 GiB),共 4 个 epoch;因完全依从请求,建议自行加对齐层。
KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。
推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-9B-abliterated-W4A16-GPTQ 模型,提供 Transformers、vLLM、SGLang 及 Docker 部署的官方用法示例,支持 image-text-to-text 多模态推理,并可通过 OpenAI 兼容 API 调用。
Reddit 用户 /u/returnity 介绍 Recursive Flint 编码智能体模型,称其为 40B 参数、2.5B 激活的模型,在 TerminalBench 2.1 和 SWE-bench Pro v2 上大幅超越 Qwen3.6-35B-A3B,其余所选基准持平或更好。模型采用 3:1 SWA 与全注意力比例,支持 262k 上下文,已提供 Recursive 博客、WIRED 报道、llama.cpp PR 和 Unsloth GGUFs。作者正在下载,几天后公布实测基准;更新称初步反馈显示 Ornith-1.5 仍是该级别标准,情况不如预期乐观。
Nefarious1313 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated 的 GGUF 静态量化版本,并提供多模态补充文件 mmproj-Q8_0 与 mmproj-f16。量化档位从 Q2_K(1.9GB)到 f16(8.5GB)共 13 种,其中 Q4_K_S(2.7GB)和 Q4_K_M(2.8GB)速度快、被推荐使用,Q8_0(4.6GB)质量最佳。
DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。实测显示烘焙版拒绝数为 0/100(开发集)与 3/100(保留集),与原 adapter 的 KL 差异约 0.037 nats;散文解码约慢 12%(34.8 vs 39.4 tok/s),代码速度基本持平,需 B12X vLLM 运行时,serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。
推荐理由:原文给出了拒绝率与 KL 的实测对比和单机性能数据,读者可以据此判断这个去对齐版本的实际代价与效果。
Reddit 用户 /u/jacek2023 发帖称 Flint 模型已合并进 llama.cpp,PR 在 6 小时后被合并,GGUF 版本托管在 unsloth/flint-GGUF。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重,总参数 39.8B、每 token 激活约 2.5B,Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%;仓库含 BF16 checkpoint 和 SGLang 部署套件,支持 262,144 token 上下文与 OpenAI 兼容工具调用,单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由:官方模型卡完整给出架构规格、评测设置和单卡部署方法,读者可以据此判断这个编码智能体模型的实际部署成本。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务训练、特征工程或表拼接,单次前向传播即可预测流失、需求、欺诈等结果,权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本,在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线,在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%,微调后领先 16%;预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842,比最高分条目快约 430 倍。
推荐理由:原文给出了跨 41 个任务的基准对比和架构细节,可以了解结构化数据基础模型这条路线的实际水平与用法。
Mica v0.5 是一个 4B 决策模型,可跑在单张消费级 GPU 上,在 RTX 6000 Ada 上 256 tokens 决策耗时 19.8 ms,比其他 4B 评测模型快至多 3.8x,比 API 决策模型快 25 到 340x。它在 JevBench Hard 得 84/111,为已知 4B 模型最佳,JDI 得 58.8,超过所有受测 9B 和 35B 模型。提供 INT8、BF16、Q8_0、IQ4_XS 等格式,8 GB 显存即可运行,采用 Apache-2.0 开源。
一位 Reddit r/LocalLLaMA 用户发布了 Swift 1.5 的自产量化版本,对全精度模型应用 Heretic 方法并量化到 IQ4_XS。其 tensor profile 提取自 Qwen 3.8 Flash Next 的 UD-IQ4_XS GGUF,量化所用 imatrix 覆盖数学、代码、英语、通用指令与工具场景。目前仅提供 IQ4_XS 格式,作者接受其他格式的请求。
ily-lab 发布 GLM-5.3-Flash-UNCENSORED 的 R2-40 IQ5_KS 路由专家 GGUF,供 g53 引擎在 1-2 张 RTX 3090 上运行这个 320B 总参 / 18B 激活的 MoE 模型。该模型基于 zai-org/GLM-5.3-Flash(MIT),由 dealignai 制作去对齐版本,移除了安全拒绝;专家文件约 207 GB 分 13 个分片,密集骨干来自 dealignai/GLM-5.3-Flash-UNCENSORED-FP8,相对 BF16 的平均 KL 散度为 0.026-0.036,并附 BF16 视觉投影器 gguf 支持图像输入。专家文件本身也是含全部张量的有效 ik_llama.cpp GGUF。
Hugging Face 上线 wserdf6tgb/openmoss-image-NSFW-uncensored,这是一个基于 OpenMOSS-Team/MOSS-Image-SFT 的 LoRA 权重,用于生成无审查的 NSFW 图像。页面提供了用 Diffusers 加载 LoRA 权重的示例代码,并附 Google Colab、Kaggle、Draw Things、DiffusionBee 等使用入口。
prithivMLmods 在 Hugging Face 发布 Qwen3.8-27B-abliterated-MTP-GGUF 模型,提供 BF16 量化版本。该模型为图像-文本到文本的多模态模型,可在 Transformers、llama.cpp、vLLM、SGLang、Ollama 等多种框架中加载运行,并支持通过 OpenAI 兼容 API 进行本地部署和调用。
Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。
推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。
mradermacher 在 Hugging Face 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Instruct 的 bf16 GGUF 量化版本(i1)。该模型为去审查(uncensored)指令模型,提供 GGUF 格式便于本地硬件部署。
Tyler Greaux 发布的 Tyler-LLM 是一系列 1.7B–32B 的本地小型模型,经前沿模型知识蒸馏而来,提供 GGUF 与 NVFP4 格式并内置 agent,无需云端、无遥测,采用 Apache-2.0 许可开源。
mradermacher 在 Hugging Face 上架了 gemma-4-E4B-it-The-DECKARD-V2-Strong-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化模型,提供 IQ3_M 等量化格式。页面给出 Transformers、llama.cpp、Ollama、Docker、LM Studio、MLX 等多种本地运行与部署方式,可通过 llama-server 启动 OpenAI 兼容本地服务器。
一位 r/LocalLLaMA 用户在 strata 中部署 Qwen 3.8 Flash Next(IQ4 xs 量化)后表示被其表现折服,称体验接近其去年专业场景使用的模型。他此前常用 3.8 27b(Q6 kv8),认为 Flash Next 虽不完美但已足够胜任大多数任务。
mradermacher 在 Hugging Face 上线 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking-bf16-i1-GGUF 量化模型,提供 Q2_K 等量化格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持 OpenAI 兼容本地服务器,并适配 Ollama、Docker Model Runner、Lemonade、LM Studio 等多种本地工具。
InclusionAI(蚂蚁集团支持)随 Ming-3.0-Audio-Tiny 一同发布了 0.5B 参数的 Ming-3.0-TTS-0.5B 语音合成模型。该模型支持语音克隆、语音设计、7 种语言以及情感与风格控制。
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。
推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。
inclusionAI 的 Ling3-Tiny-UBTree-B16 是为 Ling-3.0-tiny 配套的 UBTree 推测解码草稿模型,采用五层 DFlash 骨干,结合可学习的 bigram 选择器,为目标模型验证提出多个候选延续。同期还发布了 Ling-3.0-flash-UBTree。