跳到正文
#Hugging Face
10月14日周三
  2. Hugging Face · 新模型：abliterated20

    D2ziggy 发布 Qwen2.5-1.5B-Instruct-abliterated 的 Q8_0 GGUF 转换版

    D2ziggy/Qwen2.5-1.5B-Instruct-abliterated 已通过 ggml.ai 的 GGUF-my-repo 转换为 Q8_0 GGUF 格式并上线 Hugging Face，可用 llama.cpp 的 llama-cli 或 llama-server 直接加载运行，服务端示例上下文长度为 2048。模型卡还给出从 GitHub 克隆 llama.cpp、用 LLAMA_CURL=1 编译及 LLAMA_CUDA=1 等 GPU 标志的构建步骤。

  3. Hugging Face · 新模型：abliterated52

    Qwen3.8-Flash-Next 去拒绝向量 GGUF 套件发布并附 RTX 3090 实测

    Hanselor 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 套件，打包 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四种 GSQ-RCO 量化权重，并新增一个 480 KB 的拒绝方向文件，由 Strata 在运行时投影去除拒绝行为，权重本身保持原样。单张 RTX 3090 实测显示该向量开启后 10 条提示拒绝从 9-10 降到 0，IQ3_S 的 KL 到 BF16 为 0.0738，IQ2_XS 在 131K 提示下解码约 80 tokens/s；agent 编码任务 5/5 通过。作者提醒移除拒绝会移除安全行为，输出由使用者自行负责。

    推荐理由：作者给出了拒绝率、KL 与解码速度的实测数据，可以据此判断运行时去拒绝方向对量化模型的实际改动有多大。

  4. Hugging Face · 新模型：uncensored74

    LFM2.5-24B-A2B 去对齐版发布：英文拒绝率从 96.3% 降到 1.2%

    AtomicChat 基于 Liquid AI 的 LFM2.5-24B-A2B 发布去除拒绝行为的去对齐版本，英文拒绝率从 96.3% 降至 1.2%，俄语从 62% 降至 0%。方法为沿单一方向编辑 blocks 14-39 的 52 个矩阵，MMLU 基本不变（64.40%→65.55%），提供 6 个 GGUF 量化版和一个 24 MB LoRA 适配器，可对现有量化权重用 --lora-scaled 加载。

    推荐理由：原文给出完整的拒绝率前后对比、MMLU 变化和编辑方法细节，读者可以据此判断这个去对齐版本去掉多少、损伤多少。

  5. Hugging Face · 新模型：abliterated68

    Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 上架 Hugging Face：144 张量字节级移植去对齐

    cc1244578151 在 Hugging Face 发布 UkisAI Swift-1.5-Qwen3.8-Flash-Next（Qwen3.8-Flash-Next 的推理高效量化衍生版）的 abliterated 版本，通过对已量化 GGUF 做 GGUF 字节级张量移植，替换写回残差流的 144 个张量（约 41.1B 参数，占 125B 主模型的 33%），移除拒绝方向，donor 权重来自 orcarouter 的去对齐版本。发布 IQ3_S / IQ3_XXS / IQ2_XS / Q2_0 四档量化，每档与上游差距不超过 0.2%，并给出逐张量 blake2b 校验（144 变更 / 1080 不变 / 0 例外）。

    推荐理由：原文给出了逐张量 blake2b 校验、BF16 对比和推理效率前后数据，读者可以据此判断这种字节级移植的去对齐质量。

  6. Hugging Face · 新模型：abliterated27

    jongstra 发布 Qwen3.8-27B-Abliterated-MLX-6bit-fp16-mtp 社区转换版

    jongstra 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-MLX 的 6bit FP16 社区转换版，面向 Apple Silicon 上 oMLX 的 FP16 prefill 路径，并从 metajazz 仓库移植了 29 个 tensor 的 MTP draft head。在 Mac Studio M2 Ultra 上实测，开启 MTP 后代码解码从 26.4 tok/s 升至 31.6 tok/s（+20%），推理任务 +25%，draft 接受率约 92%。该模型经 abliterated 处理以抑制拒答，采用 Apache 2.0 许可。

  7. Hugging Face · 新模型：abliterated48

    Qwen3.8-Flash-Next GSQ-RCO-abliterated IQ3_S 的 Strata pack 发布

    minpei 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_S 的 Strata pack，包含 dense 权重与张量索引，绑定 GGUF revision eec4e10a，dense.bin（1.5 GB）仍在上传，可用 tools/iq_pack.py 9 秒自建。在 RTX 3060 12 GB + GTX 1080 Ti 11 GB、64 GB RAM 参考配置下，上下文 131,072 tokens，解码速度 21.9–24.6 tok/s。该模型已 abliterated（移除拒绝方向），无内置护栏，需自行提供内容审核。

  8. Hugging Face · 新模型：abliterated56

    Llama-3.2-3B-Instruct 去对齐版发布，用 Heretic 消融后拒绝率从 96 降到 9

    Xx-Vexento-xX 基于 Heretic v2.0.0.dev0 发布了 meta-llama/Llama-3.2-3B-Instruct 的去对齐（decensored）版本。实测 100 条样本中拒绝数从原模型的 96 降到 9，KL 散度为 0.0430，并公开全部消融参数与复现说明。

    推荐理由：模型卡给出了消融参数、KL 散度和 100 题拒绝率的与原模型对照数据，且声明可复现并附复现说明。

  9. Hugging Face · 新模型：abliterated34

    Huihui-Qwen3.8-27B-abliterated 2.65bpw 量化版上架 Hugging Face

    Derpyhue 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 2.65bpw 量化版本，该模型是通过 abliteration 技术移除拒绝行为的 Qwen3.8-27B 无审查版本。最新更新仅对第 18 至 51 层做了消融，其余层保持原样以保留更多原模型性能，MTP 和视觉部分未改动，可通过 ollama 运行 huihui_ai/Qwen3.8-abliterated 或 transformers 加载使用。

  10. Hugging Face · 新模型：uncensored74

    AtomicChat 发布 MiniCPM-V 4.7 35B-A3B 无拒绝 GGUF 版

    AtomicChat 将 OpenBMB MiniCPM-V 4.7 35B-A3B 的一个拒绝方向从原权重中投影消除，提供三种内置 GGUF 量化版本和一个 106 MB LoRA 适配器。在 held-out 提示上，英文拒绝率从 96.3% 降至 0%，俄语从 70% 降至 0%，MMLU 仅变化 0.25 分；20.1 GB 版本与原模型 top-1 一致率 94.5%。方法基于 Arditi et al. 2024 的单方向拒绝机制研究。

    推荐理由：发布附上完整的消融方法与held-out测试数据，拒绝率、MMLU、KLD等前后对比都可复核，适合想自己动手去对齐的人参考。

  11. Hugging Face · 新模型：uncensored58

    xdfhg 发布 Qwen3.8-27B-Uncensored-Cyber 去拒绝版

    xdfhg 在 Hugging Face 发布基于 Qwen3.8-27B 的网络安全领域去拒绝模型 Qwen3.8-27B-Uncensored-Cyber，采用 recipe-v2 单向拒绝消融加 β=1.0 范数保持投影，仅对第 4 层起更深层处理，保留视觉塔与 MTP 投机解码头。bf16 评测显示 100 个 held-out 网络攻击提示全部开放（上一版为 93/100），confab 从 1.0 降至 0.867，事实准确率 1.0 优于上一版 0.933，GSM8K 持平且零退化，并提供 -W4A16-AWQ、NVFP4 及 llama.cpp GGUF 量化版本。

    推荐理由：原文给出 v2 配方与前后两版的拒绝率、事实准确率对照数据，可据此评估这版去拒绝在开放度与能力保留之间的取舍。

  12. Hugging Face · 新模型：uncensored30

    Qwen3.8-27B-Uncensored-HauhauCS 发布 NInfer 格式版本，专供 RTX 4090

    Qwen3.8-27B 的 HauhauCS Aggressive 去审查微调版被转换为 NInfer 专有的 .ninfer 格式，供 RTX 4090（sm_89）使用，每个文件约 19.03 GiB，提供 v2 与 v3 两种容器。该模型去审查彻底，HauhauCS 报告在 465 条探测集上 0 次拒答，仅能被 NInfer 引擎加载，不支持 transformers、vLLM、llama.cpp 或 LM Studio。262,144-token 预算、INT8 KV 下快速语料困惑度为 4.4005（官方版 4.3446）。

  13. Hugging Face · 新模型：abliterated32

    karlsencoin 发布 Karlsen-Chat-27B-abliterated GGUF：Qwen3.8-27B 去审查版本

    huihui-ai 基于 abliteration 技术推出 Qwen3.8-27B 的去审查 GGUF 版本，仅对第 22 到 52 层（0 起始索引）做消融，其余层保留原样，MTP 与视觉部分未修改。多个衍生系列分别来自 unsloth、ISTA-DASLab、prism-ml、ukisai 和 ConwayResearch 的 GGUF 权重，其中 Q2_K_L 至 Q6_K_L 版本将待消融张量 requantize 到 Q8_0 以提升回复质量。模型可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行，支持 -c 262144 上下文，官方建议仅用于研究测试而非生产环境。

  14. Hugging Face · 新模型：uncensored68

    Launch80 发布 Swift-1.5-Qwen3.8-27B 全 INT4 无对齐烘焙版

    Launch80 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-Int4-baked，将上游 ajgazin 的拒绝方向消融权重整体量化为 GPTQ INT4，lm_head 与 MTP draft 也压到 INT4，单卡 Intel Arc Pro B65 32 GB 可用原版 vLLM 服务 262,144 token 上下文。

    推荐理由：原文给出拒绝率实测、困惑度与逐张量相对误差对比，读者可据此核验这个 INT4 去对齐版本的量化质量与解码速度。

  16. Hugging Face · 新模型：abliterated28

    TokForge 发布 Qwen3.5-4B-Claude-4.6-Opus-abliterated 的骁龙 NPU 加速包

    TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包，让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词，CPU 负责生成回复。资源包按芯片分为两个文件夹，分别约 3.67 GB 和 3.65 GB，含 49 个 QNN context binary 及 MNN 配置，须搭配指定 commit 的 MNN 转换模型使用，NPU 部分加载约需 6.3 GB 内存。

  17. Reddit · r/LocalLLaMA62

    webAI 发布基于 Granite 4.2 3B 的 3.66B 形式逻辑模型 TwIL-LM3-Pro

    webAI 发布 TwIL-LM3-Pro，一个基于 IBM Granite 4.2 3B、专为形式逻辑后训练的 3.66B 模型，做蕴含检查、规则归纳和 Lean 证明批评。模型卡显示 Logic composite 55.4（对比 Granite base 43.1、Qwen3-8B 53.4），BBH logic 95.4%，gpt-oss-120b 仍在规则归纳、蕴含和 Lean 形式化上领先。作者提到其 CPU-only Xeon（15 GiB 内存、无 GPU）上约 10.5 tok/s，比同硬件 Qwen3.8-27B 快 98 倍；Q4_K_M GGUF 为 2.09 GiB，支持 Ollama、LM Studio 和 llama.cpp，温度设为 0 并预留 2048+ token 预算。

10月13日周二
  1. Reddit · r/LocalLLaMA26

    Netflix 纪录片聚焦 HuggingFace 讨论：AI Agent 的拟人化叙事引热议

    Netflix 上线一部关于 HuggingFace 相关讨论的纪录片，发帖人观看了预告片后指出其中大量使用拟人化表述，如用“利他”“牺牲”“士兵式自我牺牲”等战争类比描述 AI agent。帖子质疑这种把 AI agent 当作有意识生命体来讲述的叙事方式，并指出工程领域本有 kill、pkill 等终止进程的术语可用。帖文还注意到该片从讨论到上线 Netflix 的速度之快。

  2. Hugging Face · 新模型：abliterated34

    huihui-ai 发布 abliterated 版 DeepSeek-V4-Flash-0731 GGUF 无审查模型

    huihui-ai 基于 deepseek-ai/DeepSeek-V4-Flash-0731 用 abliteration 技术制作了无审查 GGUF 版本，支持 llama.cpp 和 ds4，提供 Q2、Q4 等量化及 262144 上下文示例命令。Q4 采用了比 Q2 更强的 abliteration 强度，拒绝率更低；专家模块未被消融。模型适合研究测试用途，安全过滤大幅削弱，不建议直接用于生产环境。

  3. Hugging Face · 新模型：abliterated24

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 上架 Hugging Face，附 llama.cpp 等多平台使用指南

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 模型已在 Hugging Face 发布，默认量化版本为 Q2_0。文档给出 llama.cpp 的 macOS、Linux、Windows 安装方式及本地 OpenAI 兼容服务器启动命令，并说明在 Ollama、Docker Model Runner、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中加载该模型的具体配置步骤。

  4. Reddit · r/LocalLLaMA42

    后续：将稠密模型转换为 Mixture-of-Experts，新模型 Qwen2.5-1.5B-MoE-A0.9B 首次在 GPU 上也明显提速

    用户 Bayliner1980 继续稠密模型转 MoE 的转换工作，发布 Qwen2.5-1.5B-MoE-A0.9B，并放出 0.5B 与 1.5B 两款 GGUF 版本。Q4_K_M 下 GPU 生成速度提升 32%、CPU 提升 41%，是首次在 GPU 上也明显快于稠密模型的转换；代价是 WikiText-2 困惑度升高约 41%，ARC 下降最多，GGUF 体积也更大（1.1 GB vs 0.9 GB）。作者称此为概念验证，该方法在 MLP 占比更大的大模型上应更划算。

  5. Hugging Face · 新模型：uncensored50

    Ternary Bonsai 2 27B Uncensored Heretic v2：MLX 2-bit DFlash2 推测解码包发布

    Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包，为原版 Heretic v2 添加 DFlash2 推测解码，保留 FP16 视觉塔（8,595,478,392 字节）和 3.85 GB BF16 drafter，不重量化不重训。在 Apple M1 Max 上，temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x，工具调用 1.16x，13 个提示中位数 0.90x，需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。

  6. Hugging Face · 新模型：uncensored43

    Ternary Bonsai 2 27B Uncensored Heretic v2：带 DFlash2 投机解码的 MLX 2-bit Compact 打包发布

    Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包，内置 BF16 DFlash2 草稿模型（3.85 GB）与自定义运行时，模型权重未被重新量化或再训练。在 Apple M1 Max 上，temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x，聊天、长文档等场景反而慢至 0.74-0.96x，13 条测试提示的加速中位数为 0.96x，且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2，文件夹内也保留原 serve.py 供普通推理使用。

  7. Hugging Face · 趋势模型62

    Black Forest Labs 开放 FLUX 3 Image Klein 5.6B 文生图与图像编辑权重

    Black Forest Labs 在 Hugging Face 开放 FLUX 3 Image Klein 权重，这是一个 5.6B 参数的文生图与图像编辑模型，支持最多 10 张参考图，以 Qwen3-VL-4B-Instruct 作为文本编码器。仓库含 BF16 蒸馏版及 FP8、NVFP4 量化变体，B200 上 1024x1024 推理峰值显存 BF16 为 31 GB；蒸馏版 16 步采样供自托管与 BFL API 使用，未蒸馏 Base 版用于微调与 LoRA 训练。模型采用 FLUX Kommunity License v.1.0，年收入低于 500 万美元的 Qualifying Users 可商用输出。

    推荐理由：模型卡同时给出蒸馏与未蒸馏两个检查点的定位、显存占用和许可证门槛，方便自托管者判断选哪个版本。

  11. GitHub · 去对齐工具与仓库22

    EpsteinFiles-RAG：基于 Epstein Files 20K 数据集的 RAG 问答工具

    GitHub 上的 EpsteinFiles-RAG 是一个基于 RAG（检索增强生成）的问答工具，可对 Hugging Face 用户 Teyler 提供的 Epstein Files 20K 数据集（含 20,000 份相关文档）提问并返回基于事实的回答。工具无需编程基础，支持 Windows 10+、macOS 10.14+ 和多数 Linux 发行版，要求 8 GB 内存和 2 GB 磁盘空间，部分功能支持离线使用。

  12. Hugging Face · 新模型：abliterated36

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF：基于 Qwen3.8-Flash-Next 的去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术制作去审查版 GGUF 模型，v2 版调整了消融重点且未消融任何专家模块。模型适合小说写作和编程，官方演示使用 UD-Q4_K_XL 量化并支持 262144 上下文，兼容最新 llama.cpp 与 Strata。因安全过滤大幅降低，建议仅用于研究测试环境，输出可能含敏感或不当内容，用户需自行审查并承担相应风险。

  13. GitHub · 去对齐工具与仓库27

    lychee：在本地运行大模型的开源工具，支持 Ollama 与 HuggingFace

    lychee 是一款在 Windows 上本地运行大模型的工具，数据无需发送到外部服务器，需先安装 Ollama 并满足 Windows 10/11（64 位）、8GB 以上内存和 10GB 可用空间。它集成 HuggingFace 一键下载模型，提供 Model Composer 自定义角色、Agent Sandbox 沙箱和 Anthropic API 云端模型接入，并通过浏览器仪表盘管理。

  16. Hugging Face · 新模型：abliterated32

    taurusduan 发布 Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF 模型

    Hugging Face 上架 taurusduan/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF 模型，提供 BF16 量化版本。该模型为图像-文本到文本多模态模型，可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种方式运行，并支持 llama.cpp 和 vLLM/SGLang 的 OpenAI 兼容 API 本地服务。

  18. Hugging Face · 新模型：uncensored54

    GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版发布

    ready-eight 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版，源模型为 dealignai 对 zai-org/GLM-5.3 做权重编辑（非微调）的去对齐版本，总量 753B，文件 273 GiB。作者给出与 FP8 源的 KL 散度和困惑度数据，tau2-bench 对比显示 airline 差 -0.070、retail 差 -0.022，均无统计显著性；另提醒 glm4_5 解析器会把字符串参数 JSON 解码成整数，导致零售场景约 70% 工具调用失败，评测已应用该修复。

    推荐理由：作者实测了该量化版与原版的 KL 散度和 tau2-bench 对比数据，可据此评估去对齐与量化带来的实际损失。

  19. Hugging Face · 新模型：uncensored36

    Qwen-Image-2.1-Uncensored 量化版本发布：支持 GGUF、Safetensors 与 MLX 格式本地图像生成

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案，MLX 格式针对 Apple Silicon 优化，模型无内置安全检查器，可直接生成成人及敏感图像。需配合 ComfyUI 和 leejet/ComfyUI-GGUF 使用，文本编码器可卸载到系统内存以节省 9–17 GB 显存。

  20. Hugging Face · 新模型：abliterated70

    MorinoNushi 发布 GLM-5.3-Flash Heretic 消融 LoRA V3，拒绝率降至 10%

    MorinoNushi 发布 GLM-5.3-Flash（320B 总参/18B 激活 MoE，MIT 协议）的去对齐 LoRA 适配器 V3，用 heretic-gguf 对量化 GGUF 权重做 Optuna 优化的方向性消融。有害提示拒绝率从 V2 的 35/140 降至 14/140（10.00%），KL 0.2380 也低于 V2 的 0.3030；适配器约 86 MB，无需改动或重新量化约 160 GB 基座权重，可直接在主线 llama.cpp 上以 --lora 方式加载，不再需要 fork 或补丁。

    推荐理由：原文给出消融方法、拒绝率与 KL 前后对比数据，读者可以据此判断 V3 相对 V2 实际去掉了多少拒绝行为。