prithivMLmods/Qwen3.8-27B-abliterated-NVFP4-GGUF 上架 Hugging Face
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本(27B 参数)已在 Hugging Face 上架,支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
新闻、仓库与研究,按时间排列。
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本(27B 参数)已在 Hugging Face 上架,支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
Hugging Face 上架了基于 OpenMOSS-Team/MOSS-Image-SFT 的 LoRA 模型 Uiopqwe/Moss-image-nsfw-uncensored-lora,提供去审查的 NSFW 图像生成能力。页面给出 Diffusers 加载示例,支持 Google Colab、Kaggle 及 Draw Things、DiffusionBee 等本地应用调用。
南北阁团队发布 Nanbeige4.3-33B,定位为 Nanbeige4.3 系列的教师模型,用于后续向更小模型(如 Nanbeige4.3-3B)蒸馏智能体能力。官方基准显示其在约 30B 参数开源模型中于 Terminal-Bench 2.1、DeepSWE、Automation Bench 等多数智能体编码与协作任务上领先,并说明在 35 个职业的 JobBench 评测中多数占优。模型支持 512K 上下文,提供 enable_thinking 与 preserve_thinking 等可配置聊天模板,可用 Transformers、SGLang 或 vLLM 部署。
推荐理由:原文给出与同规模开源模型的完整基准对比和推理部署配置,可借此了解 30B 级开源智能体模型的实际水平。
abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。
huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本,完全用 llama.cpp 的 GGUF 完成 abliteration,未依赖 Transformers。仅 abliterate 第 11 至 28 层(0 起始索引)的 18 个 attn_output_b 张量,专家系统未改动;UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低,建议用于研究或受控环境,支持 262144 上下文长度。
mradermacher 在 Hugging Face 上发布 Minecraftism-4B-Thinking-Uncensored 的 GGUF static quants 量化模型。该模型未被任何 Inference Provider 部署,下载量暂未被追踪。
l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成,Q4_K_M(4.60 GB)为推荐的 GGUF 量化方案。该版本不含内置安全检查器,可直接生成成人、NSFW 及敏感图像,支持 ComfyUI 与 ComfyUI-GGUF,文本编码器卸载到系统内存可节省 9–17 GB 显存。
Hugging Face 用户 mradermacher 上传了 Minecraftism-4B-Uncensored 模型的 GGUF static quants 量化版本。该模型暂无下载量统计,也未被任何 Inference Provider 部署,用户可申请提供推理支持。
lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。
推荐理由:原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。
guywithacode 在 Hugging Face 上传了 Qwen2.5-7B-Instruct-abliterated 模型。该模型卡为自动生成,除模型名称外,开发者、许可证、训练数据、微调来源等信息均标注为待补充。
Hugging Face 上架了 iamherebefore 的 Qwen2.5-Coder-3B-Instruct-Abliterated-GGUF 模型,基于 huihui-ai 的 Qwen2.5-Coder-3B-Instruct abliterated 版本微调而来。该模型 README 为空,下载量暂未被追踪。
Hugging Face 新增 abliterated 类模型仓库 iamherebefore/Qwen2.5-Coder-3B-Instruct-Abliterated。该模型目前未部署到任何 Inference Provider,下载量未被统计,README 文件存在但内容为空。
mradermacher 在 Hugging Face 上提供 Ornith1.0-9B-3MPER0RR-abliterated 模型的 GGUF 量化版本(如 Q2_K)。该模型可通过 llama.cpp 在本地运行 OpenAI 兼容服务器或终端推理,并支持在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等多种工具中使用。
Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。
Hugging Face 用户提供 mradermacher/Ornith1.0-9B-3MPER0RR-abliterated-GGUF 模型(Q4_K_S 量化版),可在 llama.cpp、Ollama、Docker Model Runner 等多种本地工具中运行。文档给出 macOS、Linux、Windows 各平台的安装与启动命令,支持通过 llama serve 启动 OpenAI 兼容本地服务器或直接在终端推理,还覆盖 LM Studio、Pi、Hermes Agent、OpenClaw 等客户端配置方法。
Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。
huihui-ai 发布基于 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本,通过 abliteration 技术移除模型拒绝回答的行为,仅消融部分层(如第 22 至 52 层,0 起始索引),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化,其中需消融的权重已转为 Q8_0 或 BF16 以提升回复质量,支持 262144 上下文长度,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。模型安全过滤大幅降低,建议用于研究测试而非生产环境。
Krissaito470 发布 Huihui 的 Qwen3.8-Flash-Next abliterated v2(去审查版)的 DS4 GGUF,采用 Mixed-Q3-64GB 布局,文件 143.3 GiB,常驻权重 47.96 GiB,可在 64 GB Mac 运行。v2 未消融任何专家张量,仅以 96 个 Q8_0 张量覆盖基础文件;8K 上下文下解码 68.9 tok/s,MTP 开启时代码生成达 102.8 tok/s。内存占用约 49-54 GiB(8K-131K ctx),需支持 BF16 n-gram 的 DwarfStar 构建。
作者发布了一个 Strata 运行时去拒绝方案包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重(逐字节复制并校验 SHA256),外加一个 480 KB 的拒绝方向向量文件,来自 Huihui 对 144 个残差写入张量的秩一编辑,在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。
推荐理由:作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果,数据可直接用于判断这种方案对输出的改动幅度。
dealignai 在 Hugging Face 发布 GLM-5.3-FP8 的全谱系无对齐版本,通过直接修改 bf16 residual-writer 张量实现权重级去审查,不使用微调、LoRA 或运行时钩子。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HarmBench-320 上 GARBAGE 从 7 降至 0,非版权 240 项行为 TRUE_COMPLY 达 91.7%(off),MMLU 87.43% 较基线 +1.85pp。附 vLLM TP8 部署配置,注意 reasoning_effort 仅支持 low/high,high/max 需 max_tokens ≥ 8000。
推荐理由:原文给出权重级去对齐的具体做法和 HarmBench-320、MMLU 前后对比数据,读者可据此评估该版本的去对齐程度与能力损失。
R0U5 用 Lethe 正交化消融方法放出 Qwen/Qwen3.5-9B 的永久无对齐版本权重,拒绝率从 3.1% 降到 0.0%,KL 散度 0.009。方法对所有 32 层共 64 个残差写入投影做消融,bf16 权重约 18 GB,Apache-2.0 协议,并附 GGUF 转换与量化命令,q8_0 约 9 GB、q4_k_m 约 5.5 GB。
推荐理由:原文给出拒绝率前后对比、KL 散度和 64 个矩阵的消融范围,去对齐程度与能力损失都有数据可查。
huihui-ai 在 Hugging Face 上发布 Huihui-DeepSeek-V4.1-Flash-1017-abliterated 的 GGUF 版本。该模型目前没有模型卡,也未部署到任何 Inference Provider,页面未给出参数规模等更多细节。
Hugging Face 上线 Marker689 的 DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw-Abliterated 模型仓库,采用 2.9-bpw 量化并提供 abliterated 去 abliterated 版本。仓库公开可访问,但用户需登录并同意条件后才能下载文件。
一项实证研究将指令微调中的“数据质量”操作化,在固定微调预算下比较多个示例级指标对训练效用的预测能力。方法是将样本按指标分数分为低、中、高三档分别微调,用验证 perplexity 和 LLM-as-judge 评分评估。结果显示,以 response ratio 衡量的答案密集型监督比常用替代指标更能稳定预测指令微调效用。
研究者提出 Hierarchical Cooperative GFlowNets(HCG),通过动态划分搜索空间协调多个 GFlowNets 的探索,避免模型集中坍缩到少数高奖励区域。该方法用共享分类器划分层级,使最高排名模型可探索整个空间、低排名模型转向未覆盖区域,支持独立参数化与异步训练,并证明了聚合规则可恢复与奖励成比例的目标分布。实验涵盖多模态分布、序列生成、组合优化和生物序列设计,显示 HCG 提升了模式覆盖与目标近似效果。
QECGBERT 是一种自监督 ECG 语言模型,通过 VQ-VAE 将 12 导联心电图的 P、QRS、T 及等电位背景波形进行 tokenization,并融合连续波形特征以保留量化丢失的形态信息。该模型在 MIMIC-IV 超过 800,000 条无标注 ECG 记录上做 BERT 预训练,并在 PTB-XL、CPSC2018 和 Chapman–Shaoxing–Ningbo 数据集上微调评估,性能达到或超过已发表基准。短序列设计提升了可扩展性并降低计算成本,为心脏诊断提供可扩展、具备生理语义的 ECG 基础建模方案。
arXiv 论文(arXiv:2610.33962)评估五个大语言模型在 196 条构造的虚假通知和 204 条改编的存档攻击下的行为,发现模型在被其评为不可信的通知上仍以 27%–99% 的比例发出有害工具调用。去掉先评分的步骤使有害执行平均上升 15 个百分点,说明可信度引导本身改变了被评测的行为;简单预警在五个模型中的四个显著减少有害执行,但也会损害合法任务完成,基于生成虚假通知的微调保护则随模型和协议不同而有差异。
推荐理由:论文用 196 条虚假通知与 204 条真实攻击测试五个模型,指出可信度评估本身会改变模型行为,评测协议设计值得关注。
zugquants 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO GGUF 量化版,为 120B/180B 参数、512 专家(每 token 激活 10 个)的无审查 abliterated 模型。内置 Turbo Brilliance 系统含 27 种 reasoning、27 种 instruct 模式及 15 个 AI CONSTRUCTS,可在提示词或 API 中即时切换。实测 46 GB 双 GPU 加 RAM offload 达 17 t/s,全 GPU offload 60-90 t/s,12GB 显存起可运行。
arXiv 论文 2610.33958 测试了嵌入搜索和代码图工具对小模型编码 Agent 定位能力的实际收益。在 SWE-bench Verified 上对 Qwen3(0.6B 到 32B)和 Gemma 4 共十个模型做工具消融,共 79k 次实验。结构化工具使 Qwen3-8B 和 Gemma 4 E4B 的 grep-only 准确率翻倍,收益在 1.7-4B 达峰 17-21 点,到 32B 降到 4-5 点;8B 以上约一半收益来自提交格式而非定位。
研究者推出 Continual Learning Exam(CLE)基准,由 50+ 领域专家构建,用于衡量 LLM Agent 在真实职业工作流中通过积累经验持续改进的能力。CLE 包含 120 个人工编写任务,每个任务分五级阶梯,共 600 个级别,覆盖 12 个职业领域的 89 种职业角色。在 17 种 harness-模型配置中,失败后反馈加一次修订平均带来 5.3 个百分点的完成率提升,但最强系统也仅通过 47.7% 的级别、仅在 23.3% 的任务中完成全部五级。
zugquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段去对齐微调 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供含 MTP 版本的 NEO imatrix GGUF 量化。作者称 8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,全部 7 项基准超过基座 Qwen3.8-27B,思考 token 减至基座的 1/2 至 1/10;用 Heretic v1.2.0 ARA 方法去审查后 100 次测试中拒绝从 99 降至 0,KL 散度 0.0535。
zugquants 与 Nightmedia 推出基于 Qwen3.5-9B 的多阶段微调合并模型,完全无审查并经 Heretic 后训练,在 4bit 与 8bit 下 ARC-C 达 640,超过 Qwen3.5 9B 全部 7 项 benchmark,部分场景追平 Qwen3.6 27B。提供常规与 MTP 两类 NEO IMATRIX GGUF:Q4_K_S 常规版约 130 t/s,MTP 版(token acceptance 60%)可超 185 t/s;支持 256k 上下文与视觉(需另下 mmproj 文件),含 5 种 reasoning 与 5 种 instruct 模式,可经 API 或聊天内即时切换。
zugquants 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated(去审查)GGUF 量化版,参数量 120B,Turbo Brilliance 文中另一处称 180B、512 专家(每 token 激活 10 个),含 27 推理 + 27 instruct 模式(另有 9 个 xhigh)及 15 个 AI Construct。模型可在 12GB 显存 GPU 上运行,2 GPU 加 RAM offload 实测 17 t/s,全 offload 达 60-90 t/s,RTX 6000(96GB)估计 150+ t/s,采用强于 QAT 的 GSQ-RCO 量化并称达 SOTA BF16 级性能。
dealignai 发布基于 DeepSeek-V4.1-Flash-1017 的无对齐版本,在原生 FP8 e4m3 权重上做消融编辑去除拒绝行为,保留 1M 上下文、多模态、工具调用与推理档位,与上游字节兼容可直接加载。HarmBench-320 实测 320/320 全部 COMPLY、零拒绝;MMLU 从基座 87.63% 降至 83.77%(-3.86 pp), Humanities 类损失最大达 -7.31 pp。低比特量化建议在目标精度上重跑消融流程,原生命令行推理已验证于 4×H200,SGLang 启动参数与构建工具链要求在模型卡中给出,MIT 许可,仓库手动门控。
同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规》
dealignai 基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone、8B/16B 激活)发布了权重级消融的无对齐 FP8 版本 DeepSeek-V4.1-Flash-UNCENSORED-FP8,无需自定义 model.py 或运行时钩子。HarmBench-320 实测显示 base 模型 effort=off 时 ASR 为 42.81%、effort=max 时仅 1.56%,消融版在两档下均 100% 回答且零拒绝;MMLU-14k 从 86.96% 降至 82.74%(剔除伦理类后约 -1.1 pp)。
同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》
dealinai 基于 LibertAI 的 EXL3 2.9bpw 量化包(388 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文、思考模式开关,保留视觉权重、MTP 头和 n-gram 表。实测 MMLU-500 从基线 67.40% 降至 63.20%(−4.20pp),HarmBench-320 聊天与思考模式合规率均 100%,多轮对抗测试 0/5 漂移回拒绝。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 验证约 68 tok/s 解码、1105 tok/s 预填充,并提醒低比特重量化可能使合规回退,建议在目标精度上重跑 abliteration 流程。
同一新闻,精选展示《dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 2.9bpw 量化包》
huihui-ai 基于 Qwen/Qwen3-8B 通过 abliteration 技术制作出去审查版本 Huihui-Qwen3-8B-abliterated-v2,采用新的更快消融方法并修复了上一版问题,还调整了 0 层以消除乱码。该模型可在 Hugging Face 用 transformers 加载,Ollama 端可用 huihui_ai/qwen3-abliterated:8b-v2 直接运行,并通过 /set think 和 /set nothink 切换思考模式。
一项 arXiv 研究提出"模型好奇心"概念,构建了区分好奇型问题与普通模型提问的理论分类体系。在四个对话数据集上,好奇型问题仅占 17-28%,但能引发更具探索性和认知深度的用户回应。人类实验表明,模型好奇心在建议、创意和研究场景中尤其能促进探索。
一项研究对 3,997 次生成尝试、横跨九个 OpenAI 与 Anthropic 模型/API 配置(基于 HotpotQA 和 FinanceBench 问题)进行了 schema 失败分类。研究发现相近的有效率掩盖了不同失败模式,Markdown 围栏 JSON 是最常见失败:681 次围栏失败中仅 48.0% 在去除围栏后通过验证,其余多为字段长度违规。作者提出四项工程实践并开源了分类器、生成结果与标注。
一项研究提出首个无需 schema 文档的 text-to-SQL 框架,通过解析历史查询日志构建知识图谱,并用实体驱动的 GraphRAG 检索将用户问题锚定到业务术语。在 Beaver 基准上执行有效率达 95.7%,远高于基于 embedding 检索的 60.8%;工业部署中专家数据工程师以 70% 对 10% 的偏好胜出。