跳到正文
10月16日周五
  1. Hugging Face Blog75

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活

    Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。

    推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。

  2. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next 无审查版 Q4_K_M .basalt 包发布(Hugging Face)

    Hugging Face 上发布了一个可直接运行的 .basalt 格式包,为无审查版 Qwen3.8-Flash-Next 的 Q4_K_M 量化构建,基于 125B 级 MoE 模型(qwen4exp 架构),文件大小 114.06 GiB,内置 Qwen tokenizer 与聊天模板,支持 --vision 图像输入。运行需 NVIDIA Blackwell GPU(compute capability 12.0)与 CUDA 13;在单张 RTX 5090 上 512k 上下文解码约 220 tok/s、prefill 约 5,900 tok/s。该仓库目前为私有测试状态,采用 Qwen Community License 1.0。

  3. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。

10月15日周四
  1. Hugging Face · 新模型:abliterated42

    notfakerv 发布 LFM2.5-24B-A2B-abliterated 的 GGUF 量化版本

    notfakerv 在 Hugging Face 发布 abliterated 版 LFM2.5-24B-A2B 的 GGUF 量化文件,含 Q4_K_M(14.53 GB)、Q8_0(25.49 GB)和实验性 NVFP4(14.02 GB)三种,均来自同一 BF16 编辑后 checkpoint,未做额外训练。该版本采用 AtomicChat 公开的 late-block 方向性编辑(blocks 14-39,强度 1.75),16 条拒答提示词上关键词拒答从 16 降至 1,但 IFEval 32 例中从 27 降至 25。沿用原 LFM Open License v1.0,含 1000 万美元年营收商业限制。

  2. Hugging Face · 新模型:uncensored32

    Qwen3.8-27B Uncensored 的 NInfer DFlash2 工件发布,单张 RTX 5090 可运行

    Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。

  3. Hugging Face · 新模型:abliterated40

    Qwen3.5-9B-Abliterated-V2-GGUF 量化版发布,附 Xiaomi MiMo 效率对比评测

    HALO117MC 发布 Qwen3.5-9B-Abliterated-V2 的 Q8_0 与 BF16 GGUF 官方量化版,面向消费级 GPU 本地推理,支持 Ollama v0.40.4 与 llama.cpp v0.6.0。在 RTX 5080 Laptop GPU 上测试,原版与 Abliterated V2 的 GSM8K 精度均为 90%(9/10),后者平均每任务耗时 58.62 秒;Xiaomi MiMo-V2.6-Distill 同样 90% 精度但平均仅 7.46 秒,速度快 7.4 倍,源于其思维链更精简。

  4. Hugging Face · 新模型:abliterated28

    mradermacher 发布 MiniCPM-V-4.7-35B-A3B-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 MiniCPM-V-4.7-35B-A3B-abliterated 的 i1-GGUF 量化版本,提供 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理,也可配置到 Pi、Hermes、OpenClaw 等 Agent 工具中使用。

  5. Hugging Face · 新模型:uncensored22

    mradermacher 发布 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 发布 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic 的 GGUF 静态量化版本,提供从 Q2_K(2.0GB)到 f16(8.5GB)的多档量化文件,其中 Q4_K_S/Q4_K_M 标注为快速推荐档,Q8_0 为最佳质量档,并附带 mmproj 多模态补充文件。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。

  6. Hugging Face · 新模型:abliterated42

    DavidAU 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x GGUF 量化测试版

    DavidAU 的 Qwen3.8-Flash-Next-Turbo-Brilliance-50x 消融版(abliterated/uncensored)GGUF 量化正在测试,模型为 180B 参数、512 专家激活 10 的 MoE,量化升级为 GSQ-RCO。测试显示 IQ3_XXS(3.00 bpw、75.8 GB)达到 BF16 基线任务平均的 99.4%,Q2_0 仅 66.4 GB;速度测试中 46 GB 双 GPU 加内存卸载达 17 t/s,用户可申请访问并在量化发布时收到邮件通知。

  7. Hugging Face · 新模型:abliterated62

    LFM2.5-24B-A2B 去对齐 GGUF 版发布,附拒绝率与能力实测

    alexwkleung 用 Heretic 对 LiquidAI/LFM2.5-24B-A2B 做方向性消融,改动 926 个权重张量以降低拒绝行为,并转成 GGUF 量化发布。在 44 题独立有害集上,开启思考模式下 stock 版 44/44 拒绝,去对齐版约 34 顺从、9 偏转、1 干净拒绝;GSM8K 配对测试 n=100 两者均 98/100,KL 0.169。作者还发布 5 个量化文件与自算 imatrix,并提醒 LFM Open License 对年收入超 1000 万美元实体限制商用。

    推荐理由:作者用独立 44 题有害集和 GSM8K 配对实测验证去对齐效果与推理无损,还给出拒绝率与 KL 的多档取舍点。

  8. Hugging Face · 新模型:abliterated38

    MiniCPM-V-4.7-35B-A3B-abliterated 的 EXL3 3.5bpw 量化版本发布

    Hugging Face 用户发布 openbmb/MiniCPM-V-4.7-35B-A3B abliterated 版本的 EXL3 3.5bpw 量化权重,视觉塔与 merger 保留原始 bf16。该 abliterated 版本在 100 条有害提示上拒绝率从 100/100 降至 5/100,KL 散度 0.101。vLLM nightly 0.32.0rc1 配合 DSpark 推测解码,代码约 86 tok/s、数学约 102 tok/s,无 DSpark 为 25.5 tok/s。

  9. arXiv · cs.AI53

    arXiv 论文提出免重训练方法让预训练 Transformer 可按算力预算弹性伸缩

    Walter Simoncini 在 arXiv 发布论文,提出免重训练方法把预训练 Transformer 变成可在连续算力预算间自适应的单一模型,核心是对功能单元排序问题做可微松弛,在统一尺度上联合排序每个 MLP 神经元和注意力头。在 22M 到 8B 参数的 27 个视觉与文本 Transformer 编码器上,方法在最高 60% 稀疏度下平滑退化并优于 one-shot 基线;DINOv3 ViT-H+/16 剪枝到 50% 稀疏度移除 427M 参数,ImageNet-1k linear-probing 精度仅降 0.8%;AugReg ViT-B/16 在 60% 稀疏度下于 A100 GPU 上吞吐提升最高 1.80 倍、单查询延迟降低 1.26 倍。

    推荐理由:论文给出免重训练的弹性剪枝方法,在27个模型上验证60%稀疏度下的精度与吞吐数据,可复现。

  10. arXiv · cs.CL43

    PN-Mix:面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化

    PN-Mix 是一种针对 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法,通过 RoPE 通道对的 attention logit 扰动分析识别显著通道对,在 prefill 阶段一次性分配更高精度并在解码全程复用。2.26-bit 平均精度下,其在推理、代码生成和 AIME 基准上达到与 2.32–2.39-bit 先前方法相当或更好的准确率,且可平滑降至 1.5 bits。

  11. Hugging Face · 新模型:uncensored28

    JMingo/gemma-4-26B-A4B-it-qat-uncensored-GGUF 模型上线 Hugging Face

    JMingo 发布的 gemma-4-26B-A4B-it-qat-uncensored-GGUF 现已可在 Hugging Face 获取,提供 Q4_0 量化版本。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等多种本地部署方式,并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  12. Hugging Face · 新模型:uncensored23

    Qwen3.8-Flash-Next-Uncensored oQ5e 量化版上架 Hugging Face,附 FP8 PLE n-gram 表

    Hugging Face 用户 zviratko 发布 Qwen3.8-Flash-Next-Uncensored 的 oQ5e 量化权重,面向 oMLX 使用,并将 FP8 PLE n-gram 表移植进来,作者称 PLE 表数据的实际效果未知,属于实验性尝试。该模型在 intelligence benchmarks 上与原量化模型结果基本一致,主观连贯性良好。仓库保留 Qwen Community License 1.0,但源仓库标注的 Apache-2.0 与许可文件不一致,使用前需自行核查。

  13. Hugging Face · 新模型:uncensored18

    Ornith-1.5-9B-uncensored GGUF 量化版本发布

    Ornith-1.5-9B-uncensored 的静态量化 GGUF 版本已在 Hugging Face 上线,提供从 Q2_K(3.9GB)到 f16(18.0GB)的多档量化文件,其中 Q4_K_S、Q4_K_M 标注为快速且推荐,Q8_0 为最佳质量,并附带 mmproj 多模态补充文件。weighted/imatrix 量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。

  14. Hugging Face · 新模型:uncensored36

    Qwen-Image-2.1-Uncensored 量化版发布,支持 ComfyUI 本地图像生成

    Dariusdup 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 并被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及 NSFW 图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,通过 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器可卸载到系统内存以节省 9–17 GB 显存。

  15. Hugging Face · 新模型:uncensored23

    zviratko/Qwen3.8-Flash-Next-Uncensored-plefp8 发布

    zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-plefp8,基于 ddark-il/Qwen3.8-Flash-Next-Uncensored 的量化权重,并移植了 FP8 PLE n-gram 表。作者称该实验性模型在 intelligence benchmark 上与原量化模型结果基本相同,主观上保持连贯,但更小损失的 PLE 表数据效果未知。模型采用 Qwen Community License 1.0,使用前需查看附带许可证。

  16. Hugging Face · 新模型:abliterated46

    IsValorum 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated VAL-APEX-I MiniPlus V3 GGUF 量化版

    IsValorum 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 VAL-APEX-I MiniPlus V3 GGUF 量化版,文件 14.16 GB、whole-file BPW 4.15、含 866 个审计张量,原生 256K 上下文。该模型经 Coder390 SFT+RLOO 训练并做 abliterated 去审查,社区 NanoBench v0.4.0 评测中在 Oh My Pi (OMP 18.7)、Hermes Agent (v0.21.5)、DeepSeek Harness (0.2.0-rc.2) 三套测试上分别得分 96.7、95.4、90.4,Agentic 任务均为 100/100。

  17. Hugging Face · 新模型:abliterated40

    IsValorum 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated VAL-APEX-I NanoPlus V3 GGUF 量化版

    IsValorum 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 VAL-APEX-I NanoPlus V3 GGUF 量化版,文件 12.18 GB、whole-file BPW 3.57、含 866 个审计张量,原生 256K 上下文。该模型基于 Coder390 微调(多模型 SFT 加 RLOO),采用 EfficientThink 对齐,并经 Huihui-AI 在第 2 至 52 层完成 abliterated 去审查。

  18. Hugging Face · 新模型:abliterated63

    Xananthium 发布 REDCELL-26B-A4B 消融试验版 W6A8 量化权重

    Xananthium 在 Hugging Face 发布 REDCELL-26B-A4B-OSINT-Cyber-Abliterated-Pilot-W6A8-Vision,对 terrorswift 的 REDCELL(Gemma 4 26B-A4B 微调)做 abliterated 权重编辑并导出 W6A8 量化。16 条保留集拒绝标记从 16/16 降到 4/16,能力探针保持 19/20,工具调用、工具失败后改道和简单图像识别均通过;使用 Heretic 的保幅值正交消融加 rank-3 修正,编辑覆盖 30 个注意力输出投影、30 个稠密 MLP down 投影和 3,840 个专家 down 投影,路由器和视觉模块保持 BF16。

    推荐理由:作者给出了消融前后的拒绝率对照、能力探针和 KL 数值,还标注了未测项,读者可自行核对这个 W6A8 版本的实际取舍。

  19. Hugging Face · 新模型:uncensored40

    Gemma-4-E4B-Uncensored-HauhauCS-Aggressive 上架 Hugging Face

    HauhauCS 基于 google/gemma-4-e4b-it 发布的 Aggressive 版去审查模型已在 Hugging Face 提供 GGUF 下载,测试中 0/465 次拒绝。模型为 4B 参数、42 层、131K 上下文、原生多模态(文本、图像、视频、音频),全部量化使用 imatrix 生成;K_P 量化比基础量化文件大 5-15%,质量提升约 1-2 个量化级别,兼容 llama.cpp、LM Studio 等 GGUF 运行时,视觉/音频需搭配 mmproj 文件。

  20. Hugging Face · 新模型:abliterated52

    MiniCPM-V 4.7 1B 发布 Heretic 去对齐 GGUF 量化版

    maternion 在 Hugging Face 发布基于 openbmb/MiniCPM-V-4.7-1B 的去对齐 GGUF 量化版,用 heretic 的方向消融流程从权重中移除拒绝方向。404 次试验后拒绝率为 21/100,KL 散度 0.0122,作者称数值上接近基座模型、保留推理、工具调用与视觉能力。提供 Q4_K_M 到 F16 共 4 档量化(641 MB 至 1.9 GB)及视觉投影 mmproj-F16.gguf,可在 llama.cpp、Ollama、LM Studio 等 GGUF 兼容运行时运行,Ollama 注册表同步发布。

    推荐理由:原文给出了拒绝率 21/100 和 KL 散度 0.0122 的实测数据,可据此判断该去对齐版本的去拒答程度与能力保留情况。

  21. Hugging Face · 新模型:abliterated66

    Avicennasis 发布 MiniCPM-V-4.7-35B-A3B 消融版 MLX 4-bit 量化

    Avicennasis 发布了 MiniCPM-V-4.7-35B-A3B 的拒绝消融版 MLX 4-bit 量化,基于 openbmb 的 Apache-2.0 基座,约 23 GB、5 个分片,是首个 abliterated MiniCPM-V-4.7 的 MLX 版本。仅改动语言模型,视觉部分保留 bf16;自测红队中双用途拒绝从 8/18 降至 0/18、敏感类从 15/16 降至 0/16,工具调用 248/280 基本无损,与基座的 KL 散度为 0.101,无统计显著回归。峰值显存约 24 GiB,32 GB 以上 Apple Silicon 可跑。

    推荐理由:作者用统一红队协议给出消融前后的拒绝率和能力回归数据,本地用户可据此判断这个 MLX 4-bit 版本的可信度。

  22. Hugging Face · 新模型:uncensored66

    AtomicChat 发布 Ling 3.1 flash 无拒绝 GGUF 版本

    AtomicChat 将 inclusionAI 的 Ling 3.1 flash 中的拒绝行为从权重中投影移除,烘焙成 GGUF 版本发布在 Hugging Face。验证集上英文拒绝率从 98.1% 降到 2.9%,俄语从 68% 降到 0%,无害提示几乎不受影响;方法是对写入残差流的全部 213 个矩阵施加 W' = W - 1.25·r·rᵀW 的方向编辑,遵循 Arditi et al. 2024 的单方向拒绝机制研究,采用 MIT 许可。

    推荐理由:原文给出了拒绝方向消融的具体方法和英俄语拒绝率前后对比,并附随机方向对照,可自行判断改动效果。

  23. Hugging Face · 新模型:abliterated24

    Qwen3.8-27B-abliterated EXL3 2.60 bpw 量化版(SC-SH)发布

    Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.60 bpw 量化(SC-SH)上线,基于 Qwen3.8-27B 的去审查版本,采用按张量噪声归因分配比特率并启用 scaled-Hessian,实测相对 abliterated BF16 参考困惑度增加 5.1%。量化占用约 11.96 GB,需 ExLlamaV3,可用 tabbyAPI 运行。基座为 27B 原生视觉语言模型,262K 原生上下文(可扩展至 1M),支持图像与视频理解。

  24. Hugging Face · 新模型:uncensored21

    zviratko 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8 量化模型

    zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-oQ4e-100K-MTP-plefp8,将 FP8 PLE n-gram 表移植进 jedisctl 的原量化模型,属于实验性质。基准成绩与原模型基本持平:MMLU 87.7%(原 87.0%)、MMLU_PRO 68.0%(原 68.7%)、HumanEval 92.1%(原 93.3%),性能与内存占用相同。模型采用 Qwen Community License 1.0,作者提醒源仓库标注的 Apache-2.0 与许可证文件不符。

  25. Hugging Face · 新模型:abliterated41

    Huihui-Qwen3.8-27B-abliterated-GGUF:Qwen3.8-27B 去审查版本发布

    huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布 Huihui-Qwen3.8-27B-abliterated-GGUF 无审查版本,仅消融部分层(如第 22 至 52 层,0 起始索引),其余层保持原样。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,其中低精度版本将 token_embd、output、ffn_down 等需消融权重转回 Q8_0 或 BF16 以提升回复质量;MTP 与视觉部分未改动。可通过 ollama(huihui_ai/Qwen3.8-abliterated)或最新 llama.cpp 运行,支持 -c 262144,模型安全过滤大幅降低,建议仅用于研究测试环境。

10月14日周三
  1. Hugging Face · 新模型:abliterated35

    Qwen3.8-27B-abliterated EXL3 2.55 bpw 量化版(SC-SH)发布

    Huihui-Qwen3.8-27B-abliterated 的 EXL3 2.55 bpw 量化(SC-SH)上线,平均码率 2.5494 bpw,磁盘占用约 11.81 GB,较 BF16 参考困惑度 1.3418 增加 5.1%。噪声归因与校准均在 abliterated 权重上重新测量,head/MTP 为 4.0 bpw、vision 为 6.0 bpw。需 ExLlamaV3,可用 tabbyAPI 运行;原模型为 27B 视觉语言模型,原生 262K 上下文可扩展至 1M。

  2. Hugging Face · 新模型:abliterated67

    Qwen3.8-27B RVN 去对齐 GGUF 发布,拒绝率降至 0-1/100

    Muyuxiao 在 trohrbaugh/Qwen3.8-27B-heretic-ara 基础上追加两次全权重 ARA 消融,发布 RVN 版 Qwen3.8-27B 的 GGUF 权重。有害提示拒绝率从 3/100 降到 0-1/100,KL 损伤从 0.0535 降到 0.0085,全部 53 个 RVN 文件内嵌官方 Qwen3.8 chat 模板;模型保留 262K 上下文与 Apache-2.0 许可,面向 18+ 研究、创作与角色扮演用途,并给出从 8 GB 到 64 GB 显存的量化选型建议。

    同一新闻,精选展示《Qwen3.8-27B RVN 消融版 GGUF 发布,拒绝率降至 0-1/100》

  3. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1 Uncensored 量化版发布,支持 GGUF/Safetensors/MLX 本地图像生成

    Hugging Face 上发布 Qwen-Image-2.1 Uncensored 的多种量化格式,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M(4.60 GB)为 GGUF 推荐版本,MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查器,可直接生成成人及 NSFW 图像,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

  4. Hugging Face · 新模型:uncensored51

    Qwen3.8-9B Heretic Uncensored 4-bit MLX 量化版发布,Apple Silicon 解码提速 88%

    geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP(MTPLX)本地版本,面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s(+88%),投机解码为精确校验故无损;trunk 为有损 4-bit(group size 64,约 5.0 GB),附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器(加载时合并),depth 2 下草稿接受率约 0.71。

  5. Hugging Face · 新模型:abliterated35

    Jakevin 发布 LFM2.5-24B-A2B-abliterated-mixed-GGUF:去除拒绝行为的混合精度量化版本

    Jakevin 在 Hugging Face 发布 abliterated 版 LiquidAI/LFM2.5-24B-A2B 的混合精度 GGUF,移除了大部分拒绝行为。模型按 IQ3_M/Q4_K/Q8_0 混合量化,对第 14–39 层的 out_proj 和专家 w2 权重应用双向投影拒绝方向。需 llama.cpp b9810+ 的 lfm2moe 支持,8k 上下文下生成约 83 tok/s、峰值内存约 10.9 GB,采用 LFM Open License v1.0。