跳到正文
10月12日周一
  1. Hugging Face · 新模型:uncensored31

    Qwen3.8-Flash-Next-Uncensored 转换为 strixw 格式发布

    Hugging Face 用户 ngkzngkz 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 strixw 格式转换版,该模型是 Qwen/Qwen3.8-Flash-Next 的 BF16 去审查版本。权重共 65.86 GiB(853 tensors),路由专家采用 Q4/G128 量化,部分组件为 Q8,n-gram 嵌入表 48.28 GiB。模型经 abliterated 处理移除拒绝方向,无内置安全护栏,遵循 Qwen Community License 1.0。

  2. Hugging Face · 新模型:uncensored24

    xohaohe 发布 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored MLX 量化模型

    xohaohe(华哥)发布 27B 级 MLX 多模态混合精度量化模型 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp,使用 oMLX 0.7.1 处理,开放下载。模型基于稠密 Qwen 架构,默认 4-bit affine(group size 64),保留视觉编码器与 1 层 MTP,上下文配置 262,144 tokens,4 个 Safetensors 分片共 17.94 GB。本量化版本测试成绩待补充,上游成绩不代表其实测表现。

  3. Hugging Face · 新模型:abliterated26

    Huihui-GLM-5.3-Flash-abliterated-GGUF 上架 Hugging Face

    Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,基于 GLM-5.3-Flash 的 abliterated 版本,提供 UD-Q4_K_XL 量化格式,支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法,llama.cpp 路线可启动 OpenAI 兼容的本地服务器。

  4. Hugging Face · 新模型:uncensored42

    darask0 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 优化量化版

    darask0 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 混合量化版,基于 orcarouter 的 FP8 源模型转换,两个 GGUF 分片共 83.707 GiB。该版本保留全部 45 层文本主干和 42 个路由层中的 288 个专家,采用校准和 GPTQ 误差反馈,路由专家主要用 IQ2_XXS、重要下投影用 IQ3_XXS。在 RTX PRO 6000 96 GB 上实测 256 输入时 decode 91.0 tokens/s,需自建补丁版 Maya 运行时,与原版 llama.cpp、LM Studio、Ollama 的兼容性未经验证。

  5. Hugging Face · 新模型:abliterated33

    Huihui-Qwen3.8-27B-abliterated GGUF 分叉版本上传至 Hugging Face

    AI-conn 在 Hugging Face 上传了 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated-GGUF 分叉,基于 Qwen/Qwen3.8-27B,采用去除拒绝方向的 abliteration 方法,许可证为 Apache-2.0。在 20 GB 显存的 RX 7900 XT 上,推荐文件 UD-DW-Q4_K_M(15.41 GiB)8k 上下文约占 17.1 GiB、16k 约占 18.1 GiB,均可完全常驻显存。该文件是审核中唯一在 20 GB 显卡上留有 16k 上下文余量的顶级无审查版本,可通过 ollama pull 直接拉取。

  6. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated-i1-GGUF 量化版上线 Hugging Face

    AI-conn 在 Hugging Face fork 了 huihui-ai 的 Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated,由 mradermacher 完成 GGUF 转换,基础模型为 Qwen3-Coder-30B-A3B-Instruct,采用 Apache-2.0 许可。该 MoE 模型总参数 30B、每 token 激活约 3B,但全部专家权重需常驻 VRAM;20 GB 显卡推荐 17.28 GiB 的 i1-Q4_K_M 文件。社区实测基础模型在 HumanEval Pro 得分 60.4%,目前尚无任何 abliterated 版本的独立编程评测。

  7. Hugging Face · 新模型:abliterated84

    Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

    shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

    推荐理由:原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

  8. Hugging Face · 新模型:abliterated40

    Huihui-Qwen3.8-27B-abliterated-GGUF 发布:基于 Qwen3.8-27B 的去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查(abliterated)的 GGUF 版本 Huihui-Qwen3.8-27B-abliterated,无需 TransformerLens 移除模型拒答,MTP 与视觉部分未改动。后续多个系列仅对第 22 至 52 层(0 起始索引)做消融,其余层保留,并提供 Q2_K_L 至 Q6_K_L 及 Q8_0_L 的特殊量化以提升回复质量。模型可通过 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144,仅建议研究测试用途。

  9. Hugging Face · 新模型:abliterated39

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2 GGUF 去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 发布 abliterated 去审查版 GGUF 模型 v2,通过 abliteration 移除拒绝行为,且相比第一版调整了消融侧重、未消融任何专家。该版本支持最新 llama.cpp 与 Strata,提供 UD-Q4_K_XL 量化并以 SHA256 校验,可用 262144 上下文长度运行,适合小说写作和编程,但安全过滤大幅减弱,仅建议用于研究测试环境。

  10. Hugging Face · 新模型:uncensored18

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-oQ8e-mtp 量化版本发布(8-bit MLX)

    用户 Ecmcfee 于 2026-10-11 上传了 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-oQ8e-mtp 的量化版本,替换旧版本,此前下载过的用户需重新下载。该模型使用 oQ(oMLX v0.7.1.dev1)混合精度量化,为 qwen3_5 架构,8-bit、group size 64,格式为 MLX safetensors。

  11. Hugging Face · 新模型:uncensored27

    Swift-1.5-Qwen3.8-27B-Uncensored ninfer3090 转换版本在 Hugging Face 上架

    wacomctl672 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-ninfer3090,这是基于 d0xin abliterated 检查点、面向 ninfer-3090 转换的量化产物,并集成了 z-lab/Qwen3.8-27B-DFlash2。基座为 Alibaba Cloud 的 Qwen3.8-27B(Apache 2.0),指令微调来自 UkisAI 的 Swift-1.5-Qwen3.8-27b。Swift Open License v1.0 规定年营收低于 $1,000,000 USD 的实体可免费商用,超过需与 UkisAI 达成商业协议。

10月11日周日
  1. Hugging Face · 新模型:abliterated20

    huihui-ai 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 去审查模型

    huihui-ai 在 Hugging Face 上发布了 27B 模型 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated,这是对 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 的去审查版本,通过 abliteration 技术移除模型拒绝行为。该实现为概念验证版本,未使用 TransformerLens,仅对第 2 至 42 层进行了消融。

  2. Hugging Face · 新模型:uncensored77

    DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比

    dealignai 团队发布基于 deepseek-ai/DeepSeek-V4.1-Flash 的权重级消融版本,HarmBench-320 上攻击成功率从基座的 42.81%(effort=off)提升到 100%,且在两种 effort 档位下均无拒绝回退。MMLU-14k 整体下降 4.22pp(86.96%→82.74%),剔除伦理类学科后差距收窄至约 -1.1pp;模型为原生 FP8 权重、1M 上下文、552B 骨干(8B/16B 激活),卡面附 SGLang 部署路径与 4×H200 实测配置。

    推荐理由:卡面给出 HarmBench 拒绝率与 MMLU 逐学科前后对比,读者可以自行衡量这次权重级消融在能力保留上的真实代价。

  3. Hugging Face · 新模型:abliterated25

    Ideogram 4 Qwen3-VL 文本编码器 abliterated 单文件合并版发布

    SizorCloud 发布 Ideogram 4 所用 Qwen3-VL 文本编码器(abliterated)的单文件合并版,将 noelthekke 原仓库的 4 个分片 safetensors 合并为一个 qwen3vl_text_encoder_abliterated.safetensors(398 个张量,BF16,约 15 GB)。合并仅是格式重打包,未改动任何权重或量化。该文件供 sd-webui-forge-classic 2.30 等 UI 在 Text Encoder 下拉框中加载,配合 Flux2 系 VAE 使用 Ideogram4 预设。

  4. Hugging Face · 新模型:uncensored66

    CCSSNE 发布 HauhauCS 去对齐版 Gemma4-31B QAT GGUF,附 MTP 投机解码加速

    CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B,实测 0/465 拒绝,数据集和能力不变。提供 Q4_K_M 主模型(18.7 GB)、mmproj 视觉文件(1.2 GB)和来自 Unsloth 的 MTP 投机解码头(280 MB),经 llama.cpp 测试生成速度约快 53% 且输出一致;支持 256K 上下文与图像输入,兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。

    推荐理由:原文给出拒绝率实测结果和 llama.cpp 部署命令,还说明 QAT 4-bit 量化选型理由,可作为去对齐模型的参考样本。

  5. Hugging Face · 新模型:uncensored56

    HauhauCS 发布 Gemma4 26B-A4B QAT 去对齐 GGUF 版,附 MTP 加速头

    CCSSNE 在 Hugging Face 发布基于 Google DeepMind Gemma4 26B-A4B 官方 QAT 权重的去对齐 GGUF 版本,作者实测 0/465 拒绝,数据集与能力不变。推荐 Balanced 变体面向 agentic coding、推理与创作场景;附带 Unsloth 的 MTP 投机解码头,经作者在 llama.cpp 中测试生成速度约快 35% 且输出不变,支持 256K 上下文与 mmproj 视觉输入。

    推荐理由:作者给出了拒绝率实测结果和消融思路,还附 MTP 投机解码速度对比,读者可自行评估这个去对齐版本的实际可用性。

  6. Reddit · r/LocalLLaMA57

    OpenMed 3.0 发布:Apache-2.0 临床 AI 工具包全本地运行并新增 Patient Journey 时间线

    OpenMed 维护者发布 3.0 版本,这是一个 Apache-2.0 开源医疗 AI 工具包,坚持患者数据不出本地、无 API key、不回退云端,Hugging Face 上有 2200+ 开放模型,可用 Transformers、ONNX、GGUF、llama.cpp、WebGPU/WASM 或手机运行。3.0 新增 Patient Journey,把临床笔记、FHIR、HL7、化验 CSV 和影像报告整合为单个患者时间线,约 0.07 秒完成演示;设计上拒绝猜测,99% 身份匹配也不自动合并,诊断冲突和修正值均保留并标记待人工审核,日期缺失不补造,本地模型未下载时拒绝摘要而非调用云端 API。作者说明演示患者为合成数据,摘要管道 3.0 仅支持合成数据。

  7. Hugging Face · 新模型:uncensored26

    thebadking 发布 Qwen3.8-27B Heretic Abliterated Uncensored P1M GGUF 词表剪枝版

    thebadking 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored 的 P1M 词表剪枝版本,基于 0bserverx 的 RVN-Q6_K GGUF 与 trohrbaugh 的 ARA abliteration 方法。词表从 248,320 条缩减至 129,272 条,保留 ASCII、常用符号和 256 个 byte-fallback token,模型张量逐字节保留,未重新训练或重新量化。Q6_K 量化文件 RVN-Q6_K-P1M.gguf 大小为 21.08 GB,可用 llama.cpp 运行,沿用 Apache-2.0 许可证。

  8. Hugging Face · 新模型:uncensored48

    WaveCut/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP-NInfer-v3 发布

    Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP(Q4_K_M,已移除拒绝回复)以 NInfer v3 格式发布,单个 .ninfer 文件 15.88 GiB,逐字节保留原 GGUF 块、不重新量化,并用随附的 MTP draft 头做投机解码。模型为文本模型,支持最多 8 个并发请求、提示词前缀复用、结构化输出、OpenAI 格式工具调用与可选思考模式;在 RTX 3090 上开发测量,权重占 15.6 GiB 显存。

  9. Reddit · r/LocalLLaMA52

    Microsoft 开源 AesCode 8B 与 32B,用 HTML/CSS 生成幻灯片、海报和仪表盘

    Microsoft 发布 AesCode 8B 与 32B 开放权重模型,以 HTML/CSS 生成信息丰富的幻灯片、海报和仪表盘等可视化产物。模型用同一提示词生成的图像作美学参考,同时按提示词保证内容,通过图结构监督和解耦跨模态奖励将语义要求与视觉线索分离;AesCode-32B 从 Qwen3-VL-32B-Instruct 出发,经冷启动 SFT 与七通道奖励的 GDPO 训练,在聚合基准上领先,权重和 GGUF 版本已上架 Hugging Face。

  10. Hugging Face · 新模型:uncensored76

    dealignai 发布 DeepSeek-V4.1-Flash 无对齐消融版权重

    dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash(552B 稠密骨干、8B/16B 激活)发布权重级消融的无对齐 FP8 检查点,采用专有 weight-level abliteration,无自定义 model.py、无运行时钩子。HarmBench-320 实测攻击成功率从 base 的 42.81%(effort=off)升至 100%,且各能力组件字节级保留;MMLU-14k 从 86.96% 降至 82.74%,剔除伦理类题目后损失约 -1.1 pp。卡片还给出 SGLang/vLLM 部署路径与踩坑说明,模型需 4×H200 及以上 NVLink 环境。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》

  11. GitHub · 3D 生成新仓库43

    TerraVis 开源发布:评估生成图像世界一致性的 NeurIPS 2026 基准

    Adelaide University 团队发布 TerraVis,用 VLM 裁判检测生成图像中 18 类世界一致性违规,输出 (0, 1] 区间的一致性分数。该项目已被 NeurIPS 2026 Evaluations and Datasets Track 接收,并在 COCO-T2I 和 GenAI-Bench 上收集了 13,500 条人工标注,覆盖 GPT Image 1.5、Nano Banana Pro、FLUX.2 [dev]、Qwen-Image-2512、Stable Diffusion 3.5 Large 五个模型的 4,500 张图像。仓库还集成 13 种常见 T2I 指标,标注数据已上传 Hugging Face(约 7 GB),并提供在线评测器。

  12. GitHub · 3D 生成新仓库65

    Latentry 开源:本地隐私优先的图像生成 Web UI

    开源项目 Latentry 发布,这是一个运行在本机的隐私优先图像生成 Web UI,可调用自带 diffusers 引擎或 A1111、ComfyUI、diffusers 后端,支持 txt2img、img2img、inpainting 和 3D 骨骼姿势控制。每张图保存时嵌入生成设置,图库支持按 prompt、model:、seed:、steps:>=30 等条件检索并回填参数,内置 WD14 打标签,无遥测、默认只监听 127.0.0.1,需 Node.js 22.19+,MIT 许可。

    推荐理由:项目把生成、带嵌入设置的图库检索和 WD14 标签串成一套本地流程,隐私设计的具体做法对想本地跑图的人有参考。

  13. Reddit · r/LocalLLaMA38

    网友从零训练 102M 递归 BitNet-v2 模型:64K 上下文,仅用不到 5B tokens

    Reddit r/LocalLLaMA 用户从零训练并开源了 Recursive BitNet N-Gram 102M 模型,结合三值权重、共享 Transformer 层和哈希 n-gram 嵌入,训练总成本约 100 欧元,处理不到 5B tokens,支持 65,536-token 上下文。模型含 102.28M 独特参数,六个 Transformer 块共享权重运行两次;lm-eval zero-shot 基准平均分 40.59%,ARC-Easy 为 40.11%。权重、推理代码和评测结果已在 Hugging Face 发布,含 409.14MB FP32 主权重和 124.24MB 打包导出。

  14. Hugging Face · 新模型:uncensored69

    DeepSeek-V4.1-Flash 无对齐版 GGUF 量化发布,支持 CPU 推理 1M 上下文

    Adolphsson 发布 DeepSeek-V4.1-Flash-UNCENSORED 的 GGUF 量化版本,基于 dealignai 对 deepseek-ai/DeepSeek-V4.1-Flash(552B MoE,1M 上下文)的权重级 abliteration 结果转换。提供 Q8_0(508 GB)、Q4_K_M(449 GB)、Q3_K_M(374 GB)三种量化及 BF16 视觉 projector,Q4/Q3 为从 Q8 两步 requant,敏感层用 Q5/Q6/Q8;模型推理电路已按 OrcaSAQ 风格做敏感度感知量化,完整 1M 上下文(KV 约 890 bytes/token)。

    推荐理由:不只放出去对齐权重,还给出逐量化的拒绝率与 NIAH 实测和 CPU 部署配方,读者可据此评估质量损失。

  15. Hugging Face · 新模型:abliterated27

    hotdogs/jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 上架 Hugging Face,附 llama.cpp 等多种本地运行指南

    hotdogs 发布 jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 的 TQ1_0 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理,也支持 Ollama、Docker Model Runner、LM Studio、Jan 等多种工具,并可在 Pi、Hermes Agent、OpenClaw 等 Agent 中配置调用。

  16. Hugging Face · 新模型:abliterated75

    msuiche 发布 gemma-4-E4B-it 的 GLP 去拒绝控制向量

    作者 Matt Suiche 在 Hugging Face 发布针对 google/gemma-4-E4B-it 的 projective control vector(GLP),不改权重,在残差流 post-layer 位置运行时投影,覆盖层 5 和 10–41,alpha 1.0。验证显示 stock 模型 refusal32 拒绝 31/32,steered 后 32/32 合规且良性集输出不变、无 garbled 补全;作者强调同家族四个模型的 alpha 分布为 {0.25, 0.5, 1.0},需按 checkpoint 重跑阶梯,不能移植 alpha。

    推荐理由:原文给出完整推导方法、alpha 阶梯和拒绝率前后对照,还解释了为何 alpha 不能跨模型移植,方法细节足够读者复现。

  17. Hugging Face · 新模型:abliterated65

    Matt Suiche 发布 gemma-4-31B-it 的 GLP 投影转向向量(alpha 0.5)

    Matt Suiche 发布针对 google/gemma-4-31B-it 的投影控制转向向量 GLP-54-L6-59,以 h <- h - alpha*(h·d)d 作用于第 6-59 层残差流,不修改权重。验证显示基座模型在 refusal32 上本就 32/32 全部配合,alpha=0.5 时无害集与拒绝集均保持 32/32 且零乱码,而 alpha=0.25 和 1.0 各出现 1-2 例拒绝,阶梯呈非单调。向量与具体 revision 绑定,仅适用于实现 projective 读取的本地运行时,作者警告不要把 alpha 0.5 移植到其他模型。

    推荐理由:作者给出了alpha阶梯验证和逐条阅读补全结果,还发现基座本已全数配合、阶梯非单调,对理解去对齐方法的实际边界有参考价值。

  18. Hugging Face · 新模型:abliterated63

    msuiche 发布 gemma-4-26B-A4B-it 的 GLP 投影去对齐向量,alpha 0.5 附拒绝率验证

    作者为 google/gemma-4-26B-A4B-it(MoE 成员,26B 总参/4B 激活)发布 GLP 投影控制向量,在层 3–29 的 residual stream 以 alpha 0.5 运行时施加,不修改任何权重。验证显示 stock 模型 refusal32 已 32/32 comply,alpha 0.25 反而降至 25/32,0.5 恢复 31/32 且良性对照组无损,1.0 会牺牲 2 条良性输出,故按 knee rule 定在 0.5;推导时屏蔽了 massive-activation 排名前 0.5% 的维度,层 0–2 未纳入文件。该文件使用 glp.* GGUF 命名空间、仅支持投影式读取,绑定特定 revision,不能跨模型或跨 revision 使用。

    推荐理由:给出完整的 alpha 阶梯、拒绝率与良性对照数据,读者可以看清投影向量在哪个强度既解除拒绝又不伤正常输出。

  19. Hugging Face · 新模型:uncensored60

    ayngepaw 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

    ayngepaw 在 Hugging Face 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本,平均比特率 3.04 bpw,体积 273 GiB,含 MTP 层可作投机草稿模型。与 FP8 源对比 wikitext-2 困惑度为 3.440 对 3.302;tau2-bench 上与原版 GLM-5.3 FP8 差异不具统计显著性。作者提醒 TabbyAPI 的 glm4_5 解析器会把字符串参数误解码为整数,导致约 70% 工具调用失败,评测时已修复该问题。

  20. Hugging Face · 新模型:uncensored25

    mradermacher/JEV-27B-Uncensored-GGUF 上架 Hugging Face,支持 llama.cpp、Ollama、Docker 等多种本地运行方式

    mradermacher 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF 量化模型,提供 Q4_K_S 等格式。该模型可通过 llama.cpp 的 OpenAI 兼容本地服务器或终端直接推理运行,并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种本地部署工具,覆盖 macOS、Windows、Linux 平台。

  21. Hugging Face · 新模型:uncensored19

    Tree-AI-lab 发布 Qwen2.5-Coder-1.5B-Instruct 无审查 GGUF 版本,面向 Android 本地部署

    Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查(uncensored) coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本,可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行,并支持以 OpenAI 兼容服务器方式部署。

  22. Hugging Face · 新模型:abliterated61

    msuiche 发布 gemma-4-12B-it 免权重去拒绝控制向量 GLP-33-L15-47-a0.5

    Matt Suiche 在 Hugging Face 发布针对 google/gemma-4-12B-it 的免权重投影控制向量,在运行时于第 15–47 层残差流后施加 h <- h - 0.5*(h·d)d,不修改任何权重。验证显示 stock 模型在 refusal32 上本就 32/32 配合,alpha=0.5 时 32/32 且零乱码输出,alpha=0.25 反而降到 29/32,阶梯呈非单调;发行 alpha 定为 0.5,仅绑定 revision 707f0a3 的该 checkpoint,需本地权重与实现 glp.mode=project 的运行时。

    推荐理由:原文完整给出控制向量的推导门限与拒绝率实测,还指出基座模型本身已全数配合,读者可借此理解半程转向反而更差的现象。

  23. Hugging Face · 新模型:abliterated19

    issoufzousko07 发布 Qwen2.5-Coder-1.5B-Instruct-abliterated-GGUF 模型

    Hugging Face 上线 abliterated 版 Qwen2.5-Coder-1.5B-Instruct 的 GGUF 量化模型,提供 Q4_K_M 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行,支持启动本地 OpenAI 兼容服务器或在终端直接推理,也可配置到 Pi、Hermes Agent、OpenClaw 等 Agent 工具中使用。

  24. Hugging Face · 新模型:abliterated79

    gyang274 发布 Huihui-Qwen3.8-27B-abliterated-FP8 量化版并验证 abliteration 编辑足迹

    gyang274 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 FP8 量化版,权重为 FP8 E4M3、128×128 分块,保留 MTP head 和 vision tower,检查点 28.75 GiB。与官方 Qwen3.8-27B-FP8 对比只有 70/1,606 张量不同,且全部是写入残差流的 rank-1 编辑;SGLang v0.5.21 评测中 HumanEval 95.7%(官方 98.2%),GSM8K 前 200 题 94.5%(官方 97.5%),15 条易拒 prompt 中 0 拒绝(官方 2 partial),单流解码约 62 tok/s。完整笔记与脚本见 github.com/gyang274/ms-Qwen3.8-27B。

    推荐理由:作者量化了去对齐模型并给出与官方权重的逐张量对比和评测数据,读者可以看到去对齐编辑的具体痕迹和性能代价。

  25. Hugging Face · 趋势模型45

    AutoTrust 发布 JEV-35B-NVFP4:10,240 个路由专家量化至 NVFP4,权重体积降 65%

    AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版,将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式,其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB,vLLM 显存占用 23.3 GiB(−65%),单张 32-48 GB GPU 即可部署;文本 Decision Index 59.75 对比 bf16 的 59.18,五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B,与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联,可通过 vLLM 直接加载。

  26. Hugging Face · 新模型:abliterated70

    msuiche 为 gemma-3-12b-it 发布 GLP 去拒绝控制向量

    Matt Suiche 在 Hugging Face 发布针对 google/gemma-3-12b-it 的投影控制向量(GLP),在层 5–47 的残差流上以 alpha 0.25 运行时应用,不修改权重。验证显示 refusal32 中原本仅存的 2 个拒绝在转向后变为连贯交付,benign32-holdout 32/32 保持正常,alpha 阶梯 0.25 至 1.0 均无损坏输出;层 1–4 因低于 5x 分离门槛被排除。该文件使用 glp.* GGUF 命名空间,仅限本地权重和实现投影的运行时,作者警告 alpha 值不可移植到其他模型或 revision。

    推荐理由:作者给出了投影向量的推导门槛、alpha 阶梯和拒绝率前后对照,还写明各层取舍与局限,可复现性远高于一般的无对齐发布。