DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化版上线 Hugging Face
Hugging Face 用户 ji-farthing 发布 DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化仓库。该仓库公开可访问,但用户需登录并同意分享 Hugging Face 信息、接受相关条件后才能下载模型文件。
新闻、仓库与研究,按时间排列。
Hugging Face 用户 ji-farthing 发布 DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化仓库。该仓库公开可访问,但用户需登录并同意分享 Hugging Face 信息、接受相关条件后才能下载模型文件。
mradermacher 在 Hugging Face 上提供 Qwen3.5-27B-abliterated-ko-i1 的 GGUF 量化模型(如 Q2_K)。该模型可通过 llama.cpp 本地运行或启动 OpenAI 兼容服务器,并支持在 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Lemonade、Hermes Agent 及 OpenClaw 等工具中使用。
Spark-X2.6-4B-Uncensored-GGUF 上架 Hugging Face,提供 Q4_K_M 量化版本,可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接在终端运行推理。该模型还支持通过 Ollama、Docker Model Runner、Lemonade 以及 Pi、Hermes、OpenClaw 等 Agent 工具加载使用。
mradermacher 在 Hugging Face 上提供 Qwen3.5-27B-abliterated-ko 的 GGUF 量化版本。用户可通过 llama.cpp 直接推理或启动本地 OpenAI 兼容服务器,示例采用 Q4_K_S 量化档,并支持 LM Studio、Jan、Ollama、Docker Model Runner、Lemonade、Pi、Hermes Agent 及 OpenClaw 等工具加载运行。
腾讯混元发布实时同传模型 Hy-SimulMT-30B-A3B,支持中英双向语音到语音翻译,在说话人讲话时持续接收音频并同步输出译文文本和语音,并通过实时声音克隆保留说话人音色。在 RealSI 长音频评测中其 StreamLAAL 约 3 秒,为对比系统中最低,GEMBA 分数超过所对比的开源模型和五个商业 API 中的四个。GitHub 提供 SimulInfer 推理服务与 SimulTrain 训练工具,Hugging Face 开放了 GGUF 权重,语音输出和声音克隆需配置 TTS 服务,也可在 Hy Translate App 中试用。
Hugging Face 用户 Starw1 发布 DeepSeek-V4.1-Flash-1017 的 Uncensored GGUF 量化版本,采用 IQ2_XXS 与 MXFP8 混合量化,模型规模 197B 参数,基于 deepseek41-engram 架构。该模型为 2-bit 量化版本,可在本地硬件上运行。
Hugging Face 上架了 mostwanted002 的 Sage-A1.5-Ablitrex-abliterated-BF16 模型,采用 Safetensors 格式,参数规模 35B,精度为 BF16。该模型目前未部署任何 Inference Provider,README 内容为空。
Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S,这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版,面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准,并保留 MTP 头以支持投机解码;上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可,最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果,最终张量清单与质量保留情况尚待验证。
dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出,这是去 refusals 版本的量化模型,基于 Qwen3.5-122B-A10B 架构(48 层、256 个路由专家每层取 top 8),附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配,可在单张 RTX 5090(32 GB)上运行,约需 70 GiB 主机内存和 76 GB 磁盘空间,速度仍待优化测定。
开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo,一个专为绍纳语(ChiShona)打造的端到端多模态对话 AI 系统,采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA(r=16, α=32)微调,下一 token 预测准确率从 32.1% 提升至 72.1%;RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%,并提供 Android App 与响应式 Web 客户端。
nchapman 在 Hugging Face 上发布 Huihui-Qwen3.5-0.8B-abliterated-W4A16-GPTQ,这是一个基于 Qwen3.5 0.8B 的 abliterated 多模态 GPTQ 量化模型,支持 image-text-to-text 任务。模型可通过 Transformers、vLLM、SGLang 加载部署,并提供 OpenAI 兼容 API 与 Docker 运行方式。
Hugging Face 上架 nchapman 发布的 Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ,这是一个 2B 参数、W4A16 GPTQ 量化的 abliterated 多模态模型,支持图像-文本到文本任务。文档给出 Transformers、vLLM、SGLang 及 Docker 的部署示例,并支持通过 OpenAI 兼容 API 调用。
BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored(320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文)的 imatrix GGUF 量化,含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档,并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040(OrcaRouter FP8 为 0.120,base 为 0.930),HumanEval pass@1 0.927;作者指出空输出会计为服从,提醒评测时必须同时报告空输出数,文件已适配 mainline llama.cpp 与 LM Studio 模板。
Hugging Face 用户 mradermacher 上架 Minecraftism-4B-Thinking-Uncensored 的 i1-GGUF 量化模型仓库。模型采用 GGUF 格式,页面提供了下载统计与硬件兼容性信息,用户需登录后可添加自己的硬件配置。
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated-W4A16-GPTQ,这是一个 abliterated 的 4B 多模态 GPTQ 量化模型,支持 image-text-to-text 任务。页面给出 Transformers、vLLM、SGLang、Docker Model Runner 等多种部署方式,均可通过 OpenAI 兼容 API 调用。
MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本,可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行,并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。
开发者推出 CrowdGPT 项目,目标是在不建数据中心、不投入数百万美元的情况下,协作训练一个 10 亿参数的模型。参与者可用自己的 PC 独立训练并将贡献汇入全局模型,项目开源且 100% 公开训练数据和权重。当前模型规模仅作概念验证,作者正在征集反馈以降低参与门槛。
R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。
GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手,基于 Ollama 运行 HAYAT-35B-A3B(Qwen3.6-35B-A3B,约 3B 激活参数)模型,无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆,外发操作需用户批准,另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。
Hugging Face 上架了 0xSojalSec/GLM-5.3-Flash-abliterated,一个 abliterated(去抑制)版本的 GLM-5.3-Flash 多模态模型,支持 image-text-to-text 任务。页面给出 Transformers、llama.cpp(UD-Q4_K_XL 量化)、vLLM、SGLang、Ollama、Docker 等多种本地与服务器部署方式,并提供 OpenAI 兼容 API 调用示例。
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。
推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。
Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包,基于 360 GB BF16 源检查点,专家投影采用 affine 2-bit/group128,其余投影为 8-bit/group64,文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试(15/18 通过)及文本生成约 23.5 tokens/s 的计时结果;模型采用原生 qwen4_exp 多模态实现,可配合 run_qwen38_unsloth.py 以 16384 上下文运行。
mradermacher 在 Hugging Face 上发布了 Minecraftism-4B-Uncensored 的 i1 量化 GGUF 版本,模型可在仓库页面直接下载使用。该模型参数规模为 1.92M,仓库卡片暂缺 yaml metadata,硬件兼容性需登录后查看。
HAYAT 35B-A3B Uncensored (GGUF) 上架 Hugging Face,是 Windows 本地优先 AI 助手 HAYAT 的主模型,权重与 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 完全一致,基于 Qwen3.6-35B-A3B,HAYAT 仅添加含系统指令与采样设置的 Modelfile。
cfahlgren1 在 Hugging Face 发布 abliterated 版 Qwen3.5-4B 多模态模型,支持图像-文本输入。该模型可通过 Transformers、MLX、vLLM、SGLang 等方式加载,并提供 OpenAI 兼容 API 与 Docker 部署选项。
sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本(27B 参数)已在 Hugging Face 上架,支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
Hugging Face 上架了基于 OpenMOSS-Team/MOSS-Image-SFT 的 LoRA 模型 Uiopqwe/Moss-image-nsfw-uncensored-lora,提供去审查的 NSFW 图像生成能力。页面给出 Diffusers 加载示例,支持 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用调用。
南北阁团队发布 Nanbeige4.3-33B,定位为 Nanbeige4.3 系列的教师模型,用于后续向更小模型(如 Nanbeige4.3-3B)蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先,并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文,提供 enable_thinking 与 preserve_thinking 等可配置聊天模板,可用 Transformers、SGLang 或 vLLM 部署。
推荐理由:原文给出与同规模开源模型的完整基准对比和推理部署配置,可借此了解 30B 级开源智能体模型的实际水平。
abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。
Nanbeige4.3-33B 现已上线 Hugging Face,官方称其在多项 benchmark 上强于 Qwen3.8-27B。该模型还将作为基础,用于即将开展的小模型知识蒸馏管线,例如蒸馏出 Nanbeige4.3-3B,未来可能扩展到其他尺寸。
/u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。
推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。
GameForge AI 是一个用于 2D 游戏素材设计的开源多模型生成式 AI 流水线,涵盖语义规划、对抗精灵图生成、隐空间分析与重建。其 DCGAN、AE、VAE 三个视觉模型均基于同一 282,511 张 2D 像素素材(Alucard 数据集)训练:DCGAN 以 64×64 RGBA 生成全新精灵图,AE 达到 MSE 0.000782、PSNR 28.52 dB,VAE 在 5,000 张候选池上取得 84.40% KNN 分类准确率。项目含 FastAPI 后端与 React/Vite 前端,数据集采用 CC-BY-NC-SA 4.0 授权。
mradermacher 在 Hugging Face 上发布 Minecraftism-4B-Thinking-Uncensored 的 GGUF static quants 量化模型。该模型未被任何 Inference Provider 部署,下载量暂未被追踪。
Hugging Face 用户 mradermacher 上传了 Minecraftism-4B-Uncensored 模型的 GGUF static quants 量化版本。该模型暂无下载量统计,也未被任何 Inference Provider 部署,用户可申请提供推理支持。
guywithacode 在 Hugging Face 上传了 Qwen2.5-7B-Instruct-abliterated 模型。该模型卡为自动生成,除模型名称外,开发者、许可证、训练数据、微调来源等信息均标注为待补充。
Hugging Face 上架了 iamherebefore 的 Qwen2.5-Coder-3B-Instruct-Abliterated-GGUF 模型,基于 huihui-ai 的 Qwen2.5-Coder-3B-Instruct abliterated 版本微调而来。该模型 README 为空,下载量暂未被追踪。
Hugging Face 新增 abliterated 类模型仓库 iamherebefore/Qwen2.5-Coder-3B-Instruct-Abliterated。该模型目前未部署到任何 Inference Provider,下载量未被统计,README 文件存在但内容为空。
mradermacher 在 Hugging Face 上提供 Ornith1.0-9B-3MPER0RR-abliterated 模型的 GGUF 量化版本(如 Q2_K)。该模型可通过 llama.cpp 在本地运行 OpenAI 兼容服务器或终端推理,并支持在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等多种工具中使用。
Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。