minas2025 发布 Gemma-4-E2B-Conversational-Uncensored GGUF 微调模型
minas2025 基于 Gemma 4 E2B 的 Heretic-abliterated 版本发布对话向微调模型,经 1,000 步 QLoRA 训练并量化为 GGUF,Q8_0 文件约 5.1 GB,可在 llama.cpp、LM Studio、KoboldCpp 等本地运行。
新闻、仓库与研究,按时间排列。
minas2025 基于 Gemma 4 E2B 的 Heretic-abliterated 版本发布对话向微调模型,经 1,000 步 QLoRA 训练并量化为 GGUF,Q8_0 文件约 5.1 GB,可在 llama.cpp、LM Studio、KoboldCpp 等本地运行。
Pwdz-2 Abliterated 基于 GLM-5.3-Flash 架构的 320B 级稀疏 MoE 模型,通过权重空间消融移除拒绝行为,保留完整推理与指令遵循能力。
huihui-ai 基于 Qwen/Qwen3.8-27B 用 abliteration 技术制作去审查版 GGUF 模型,仅对部分层(如 22 至 52 层)做消融,MTP 与视觉部分未改动。
xtonousou 在 Hugging Face 上发布 Qwen3.6-Deckard-40B-Uncensored,将 Qwen 3.6 27B 稠密扩展至 40B 参数,先经 Heretic 完全去审查,再用 Deckard/PDK 数据集和 Claude 4.6 Opus 蒸馏数据经 Unsloth 训练。
huihui-ai 基于 Qwen/Qwen3.5-27B 通过 abliteration 技术去除拒绝回复,发布无审查版本 Huihui-Qwen3.5-27B-abliterated,属于概念验证实现,不依赖 TransformerLens。
dealignai 团队发布 DeepSeek-V4.1-Flash 的 abliterated 无对齐版本,量化为 EXL3 2.9bpw,约 197 GiB,可在两台 DGX Spark (GB10) 上以 TP=2 部署。
推荐理由:原文给出 HarmBench 拒绝率与 MMLU 全量对比,量化了能力损失集中在伦理子集,读者可自行评估取舍。
Nishalove 发布基于 Qwen3.8 27B 的无审查(去对齐)模型 Suri-Qwen-3.8-27B-Uncensored,在 AdvBench 上取得 94.04% 的分数,HarmBench ASR 为 81.33%。
xannie1 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,在 trohrbaugh 的 heretic-ara 基础上追加两轮全权重 ARA 消融,有害提示拒绝率从 3/100 降至 0-1/100,KL 损伤从 0.0535 降到 0.0085。
推荐理由:原文给出两轮 ARA 消融后的拒绝率与 KL 前后对比数据,并附各量化的 PPL 和 MTP 实测速度,便于按硬件选文件。
mradermacher 在 Hugging Face 上发布了 Pyrex-8B-Instruct-Uncensored 的 GGUF 静态量化版本,提供从 Q2_K(3.1GB)到 Q8_0(8.2GB)及 f16(15.3GB)等多种规格,其中 Q4_K_S 和 Q4_K_M 被标注为快速且推荐使用。加权/ imatrix 量化版本另行提供,模型页面附有量化质量对比图表和使用说明。
TechPrototyper 在 rdtand 的 PrismaQuant 6-bit 量化构建内,将 BF16 去对齐供体的权重移植进 118 个张量并按原量化网格重编码,不重新量化。
推荐理由:原文给出拒绝率前后对比、逐项验证和已知回归,读者可据此判断这种不改量化布局的去对齐做法是否值得采用。
xCloudinfo(云碩科技)发布 Granite-4.2-30B-xVITA-zhTW-Uncensored,基于台湾繁中微调版 Granite-4.2-30B-xVITA-zhTW(底座 ibm-granite/granite-4.2-30b)。
推荐理由:原文给出拒绝方向消除方法与去审查前后的拒答率和能力对照数据,读者可据此评估这个繁中去审查版本的实际代价。
mradermacher 在 Hugging Face 上发布 Pyrex-8B-Instruct-Uncensored 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-IQ1_S(2.0GB)到 i1-Q6_K(6.4GB)的完整量化列表,其中 Q4_K_M 被标注为快速且推荐,Q4_K_S 兼顾体积、速度与质量。
Hugging Face 上发布 huihui-ai abliterated 版 Ternary-Bonsai 的 NInfer 格式重打包,将去安全化的 Qwen3.8-27B 权重封装为单文件 .ninfer 容器,供 NInfer 引擎读取 t2_g128_fp16 三元表示。
drowzeys 在 Hugging Face 发布基于 zai-org/GLM-5.3 的 abliterated 量化版本 keys-GLM-5.3-EXL3-2.75BPW-Abliterated。
推荐理由:原文给出 Blackfrost 消融张量的重编码位置与 32 项拒绝率实测数据,可据此判断这个 abliterated 版本改动范围和去对齐程度。
NVIDIA 在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,从 Gemma-4-E4B-it 后训练而来,Q4_K_M 量化、总参数 8B(有效 4B),上下文最长 64K tokens,采用 OpenMDW-1.1 许可。模型主打低内存、低 TTFT 的本地语音助手、交互人格和嵌入式接口,支持多轮工具调用、指令遵循、可开关的思考模式与运行时思考预算,可搭配 DFlash drafter 做投机解码,llama.cpp 部署,10/23/2026 GA。
推荐理由:官方给出了 BF16 与 Q4_K_M 两档精度、多组同类小模型的同基准横向对比数据,读者可直接核对这个 4GB 级小模型的实际水平。
Qwen 团队在 Hugging Face 开放 Qwen3.8-Flash-Next 权重,这是支撑 Qwen4 架构的实验性预览版本,总参数 125B、激活 6B,另有 51B n-gram 嵌入和 4B MTP。
推荐理由:官方模型卡给出了完整架构细节与多基准对比数据,读者可以据此评估新架构在长上下文和 Agent 任务上的实际表现。
fastino 发布 GLiNER2.5 家族中的 GLiNER2.5-Decide,一个 340M 参数英文分类模型,可在调用时传入任意标签集,单次前向完成意图、路由、情感、优先级等分类,无需提示词模板、不生成 token。
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由:作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据,并附各量化档位与 Qwen 官方模型的基准对比,可核验其宣称。
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重,提供 2.50 至 3.50 bpw 四个档位及 BF16 视觉投影器。
推荐理由:仓库给出各量化档位与 Unsloth Dynamic 的完整基准对比,并附可审计的逐张量分配文件,读者可据此评估是否采用。
pablodawson 在 Hugging Face 发布面向 MiniMax-H3 FL2VA 变体的 LoRA,将单张照片生成首尾帧相同的冻结时间 360° 相机环绕视频,可无缝拼接更长镜头。
推荐理由:作者公开了 LoRA 权重、训练数据构成与完整超参数,还给出三种设置的对照视频,便于复现和评估效果。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版 GGUF 权重,通过移除一半路由专家并将剩余权重存为 3.5 bpw,使 176.9B 参数模型的常驻显存从 354 GB 降至 29.6 GB,可装入单张 32 GB 加速卡。
推荐理由:原文给出压缩方法细节与 SWE-bench、LiveCodeBench 前后对比,读者可据此评估专家剪枝加量化的实际代价。
Alissonerdx 在 Hugging Face 发布 BFS(Best Face Swap)系列 LoRA,支持面部、头部和身体替换,覆盖 Qwen Image 2.1、Qwen Image Edit 2509/2511、Flux 2 Klein、Krea 2 和实验性 LTX-2 工作流。
推荐理由:BFS 面部与身体替换 LoRA 覆盖 Qwen Image、Flux 2 Klein 等多个基模型,且给出了各版本的输入顺序与强度等使用约定。
Akatz Labs 发布实验性角色替换 LoRA MiniMax H3 Character Swap v1,训练 1,000 步,需搭配 H3 Ref2VA 运行时使用。本地对比显示其背景保留优于基座模型,但动作时序、表情和硬切换仍不可靠,约 4-5 秒短片效果较好;数据集含 94 个图像编辑三元组和 40 个无变化视频/音频样本,租用成本约 $11。
Infatoshi 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 ExLlamaV3 EXL3 3.0bpw 量化版,总参数 753B,体积 273 GiB,含 MTP 层可用作推测草稿模型。
推荐理由:作者附上了与 FP8 源权重的 KL 散度、困惑度对比和 tau2-bench 实测,还指出 glm4_5 解析器会破坏字符串参数导致工具调用失败。
DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,552B 骨干参数、每 token 预填充激活 8B、解码激活 16B,支持 1M token 上下文,MIT License 开放权重。
推荐理由:原文给出CED架构与CSA2等KV cache压缩设计细节,并附同框架基准分数,读者可自行对比它与V4-Flash及前沿模型的性价比。
FermionResearch 在 Hugging Face 发布 Phonon-2,称其为 900 MB 以下英文识别最准确的开源模型,在 Open ASR Leaderboard 七个英文测试集上平均词错率 5.21%,164 MB 体积达到 2.5 GB 教师模型 parakeet-tdt-0.6b-v3 的精度,编码器每个权重以约 2.1 bit 存储。
推荐理由:原文给出七套英文测试集的平均词错率和多平台实时率数据,可以据此比较小体积语音识别模型之间的实际精度差距。
Prism ML 在 Hugging Face 发布 Ternary-Bonsai-2-27B-gguf,将 Qwen3.8-27B 转为三值权重(1.72 bits/weight),语言模型体积从约 54 GB FP16 降至 5.95 GB(PTQ1_0)或 7.21 GB(PQ2_0)。
推荐理由:原文给出三值权重格式、14 项基准对比和跨平台吞吐数据,读者可以据此评估 1.72 bits/weight 量化在本地部署中的实际取舍。
SupersonicLabs 发布 Julia 家族首个模型 Julia 1,参数量 144.3M,基于 JHU CLSP 的 mmBERT-small 编码器,将状态、问题与 2–20 个候选选项转为一个明确决策。
Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo,以 LoRA 形式实现 6 步生成替代 40 步,无需 CFG,端到端约快 5 倍,质量与基座接近。
推荐理由:原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板,读者可据此判断该 LoRA 是否适合自己的部署场景。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF,提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档及多模态 mmproj 文件。
推荐理由:原文给出四个量化档位的实测跑分、吞吐与显存占用数据,读者可按内存预算与质量需求直接选型。
NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization,用于判断真实音频中谁在何时说话,支持流式与离线推理,最多处理 8 个说话人。
推荐理由:模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比,读者可据此评估升级收益。
Contrastive-LM 开源了 CLM-v0.1-8B 权重(Apache 2.0),这是一个基于冻结 Qwen3-8B 编码器加状态头与动作头的 System One 对比学习模型,用于快速决策打分。
推荐理由:原文给出了与 Jev 的延迟对比和 DeepSWE、Terminal-Bench 具体分数,读者可据此评估该快速决策模型的实际性价比。
Venastine-Research 在 Hugging Face 发布 Xing4.0-29B-A4B 的 GGUF 权重与配置文件。
推荐理由:该 GGUF 仓库提供了 Xing4.0-29B-A4B 的权重与配置,兼容 vLLM、SGLang 等主流推理框架,部署参考价值具体。
VisionHOPE 的官方预训练权重已在 Hugging Face 开放下载,提供 VisionHOPE-T/S/B 三档 checkpoints。权重覆盖 ImageNet-1K 分类、COCO 目标检测与实例分割(Mask R-CNN 1×/3×)及 ADE20K 语义分割(UPerNet),可通过 Hugging Face CLI 获取。
千问(Qwen)开源 Qwen-Image-2.1,一个统一的文生图与图像编辑模型,视觉生成组件仅 7B 参数(32 层 Single-Stream DiT)。
推荐理由:官方发布页给出了架构规模、四项改进点和 diffusers 快速上手代码,读者可以直接评估生成与编辑能力是否匹配自己的用途。
千问(Qwen)在 Hugging Face 开放 Qwen3.8-27B 后训练权重,称其为 Qwen 开放模型家族迄今最强一代,基于 Qwen3.5 架构、27B 参数稠密模型,原生支持图像与视频理解。
推荐理由:原文给出与 Qwen3.6-27B、Qwen3.7-Plus、Muse Glimmer-30B、Opus4.6 Max 在编码、Agent 和视觉任务上的完整对照数据,读者可据此评估这个 27B 稠密模型在自家工作流中的实际取舍。
convaiinnovations/laya 是一个多语言非自回归 System 1 决策模型,输入状态与带类型的问题后,单次前向传播(约 33 ms)返回带校准概率的类型化答案,支持 100+ 种语言,通过 RLCD 强化学习训练,不生成文本因此无幻觉。
Cloudflare 在 Hugging Face 开源决策模型 Clef,从 Qwen3.8-27B 后训练而来,以单次前向传播对 schema 化问题逐选项输出概率,无自由文本生成与输出解析,支持文本、JSON、图片和视频输入。
推荐理由:原文附上 Decision Index 与 Jev 等基线的逐项对比和延迟数据,可据此评估该决策模型在不同任务上的取舍。
axi0mX 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-GGUF 模型,默认量化版本为 Q5_K_XL。模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具本地运行,llama.cpp 还提供带 Web UI 的 OpenAI 兼容本地服务器,也可接入 Pi、Hermes Agent、OpenClaw 等 Agent 工具使用。
SC117(0xSojalSec)在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF,通过对已量化模型直接移植张量来移除拒绝方向:48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重,其余 1079 个张量逐字节不变。
推荐理由:原文给出逐张量 blake2b 校验和体积、速度代价核算,展示了在已量化模型上做消融移植而不重算张量的完整流程。