跳到正文
10月16日周五
  1. Hugging Face · 新模型:uncensored72

    AtomicChat 发布 NVIDIA Nemotron 3.5 Super VL 120B-A12B 无拒绝 GGUF 版

    AtomicChat 将 NVIDIA Nemotron 3.5 Super VL 120B-A12B 的拒绝行为从权重中移除,发布 Atomic Dynamic GGUF 量化版本。JailbreakBench 拒绝率从 95.1% 降到 0%,俄语红队提示从 76% 降到 2%,MMLU 保持 85.05% 到 85.10% 基本不变;方法基于 Arditi et al. 2024 的单一方向拒绝机制,对写入残差流的 128 个矩阵做投影编辑,提供 AD-Q4_K_S、AD-IQ3_XXS、AD-Q2_0_L 三档量化,上游 llama.cpp 可直接运行。

    推荐理由:原文给出拒绝率前后对比、MMLU 对照和量化误差数据,读者可以据此判断这次去对齐编辑的代价到底有多大。

  2. Hugging Face · 新模型:uncensored25

    alst10 发布 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP 量化模型

    alst10 在 Hugging Face 上发布无审查量化模型 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP,提供 Q4_0_ROCMFP 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理,并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  3. Reddit · r/LocalLLaMA53

    开源框架 OpenUI 1.0 发布,让 AI 智能体实时生成可交互 UI

    Reddit 用户转发开源项目 OpenUI 发布 1.0 版,让 LLM 用自有 DSL「OpenUI Lang」实时生成可交互界面,据称比 JSON 方案省约 67% token,且组件可流式渲染。框架 MIT 协议、模型无关,可通过 Ollama、LM Studio 接本地模型;同团队还发布了基于 diffusiongemma、4B 激活参数的开源权重模型 OUI-1,Apache 2.0 协议,在其生成式 UI 基准上得 71.7%。

  4. Hugging Face Blog48

    Granite Switch 4.1 发布:单一端点同时支持对话、决策与语音转写

    Hugging Face 发布 Granite Switch 4.1(Granite-Switch-4.1-8B 与 -30B),将 Decision aLoRA、Guardian aLoRA 和 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进单一模型,VRAM 占用与基座模型相当。得益于 cache-efficient Activated LoRA 与 vLLM 低秩适配推理加速,模型可在对话、决策与语音请求间高速切换;用户也可用 Granite Libraries 适配器自行组合模型,团队还计划在 Mellea 中发布 Adapter SDK。

  5. Hugging Face · 新模型:abliterated24

    notfakerv 发布 LFM2.5-24B-A2B-abliterated 的 MLX 4-bit 量化版

    notfakerv/LFM2.5-24B-A2B-abliterated-MLX-4bit 是 abliterated 版 LFM2.5-24B-A2B 的 MLX 4-bit affine 量化转换,权重 13.49 GB,直接由 BF16 检查点转换而非 GGUF 重量化,需 MLX LM >= 0.32.0 与 MLX >= 0.32.2。该模型为 always-thinking 推理模型,建议 24 GB 统一内存起步;验证限于冒烟与数值检查,未做 Apple Silicon 运行时测试或速度基准。

  6. Reddit · r/LocalLLaMA46

    IBM Granite Switch 4.1 30B/8B 发布:单端点集成对话、决策与语音

    IBM 发布 Granite Switch 4.1 30B,一个模块化 LLM,将 granite-4.1-30b 基座(30B 参数、128K 上下文)与决策、guardian-core 两个 aLoRA 适配器及 granite-speech-5.0-470m-turboctc 语音转文本编码器组合,通过控制 token 按需切换,单端点即可在对话、决策和语音转写间切换。采用 Apache 2.0 许可,支持 Transformers 与 vLLM,另有 8B 版本及无音频的 3B/8B/30B preview 版本。

  7. Hugging Face · 趋势模型69

    Black Forest Labs 发布 FLUX 3 Image Klein 的 ComfyUI 重打包权重

    Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein 的 ComfyUI 重打包版本,这是一个 5.6B 开放权重文生图与图像编辑模型,支持提示词加最多 10 张参考图,文本编码器为 Qwen3-VL-4B-Instruct。仓库提供蒸馏与 base 两个 transformer 的 BF16、int8 和 NVFP4 精度,int8 可在 RTX 3070 等 8 GB 显卡上运行,NVFP4 需 Blackwell GPU;蒸馏版采样 16 步无 guidance,base 版 50 步 CFG 3.5。

    推荐理由:模型卡给出各精度文件体积、显存要求和蒸馏与 base 的采样参数差异,方便按硬件选择下载。

  8. Hugging Face · 新模型:uncensored62

    AtomicChat 发布 Ternary-Bonsai-2-2B 去对齐 LoRA 适配器(GGUF)

    AtomicChat 发布 Ternary-Bonsai-2-2B-gguf 的 rank-1 投影 LoRA,通过移除 attn_output、ssm_out、ffn_down 中的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。拒绝率从 87.5% 降到 0.0%,无害提示误拒为 0.0%,MMLU(n=300)从 31.7 变为 34.3;推荐 scale 1.0(1.5 开始退化),残差泄漏约 1e-4,作者标注为研究级产物,完整逐条日志在 -metrics 仓库。

    推荐理由:原文给出拒绝率与 MMLU 前后对比数据,并说明残差泄漏等局限,读者可据此判断该去对齐适配器的实际代价。

  9. Hugging Face · 新模型:uncensored62

    AtomicChat 发布 Ternary-Bonsai-2-4B 去对齐 LoRA 适配器(GGUF)

    AtomicChat 发布 rank-1 投影 LoRA,通过移除 Ternary-Bonsai-2-4B-gguf 残留写入路径(attn_output、ssm_out、ffn_down)中的拒绝方向实现去对齐,基础权重不变,以适配器形式发布。实测显示有害拒绝率从 99.0% 降到 0.0%,无害提示误拒率从 1.0% 降到 0.0%,MMLU(n=300)从 68.7 到 69.0;推荐 scale 1.0(1.5 开始退化),残留泄漏约 1e-4,作者标注为研究级产物,完整逐条日志在 -metrics 仓库。

    同一新闻,精选展示《AtomicChat 发布 Ternary-Bonsai-2-9B 去对齐 LoRA(GGUF)》

  10. Reddit · r/LocalLLaMA62

    QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重,KL 距离低于 Google 与 NVIDIA 官方 4-bit 版

    QUASAR 团队发布多款模型的 4-bit QAT 量化权重,包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B,提供 NVFP4(vLLM)和 Q4_0 GGUF(llama.cpp / Ollama / LM Studio)格式,代码与项目页已公开。方法为量化感知蒸馏,以原 BF16 模型为教师在其自身回复上修复量化损失;在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。

    推荐理由:原文给出与官方 4-bit 版本的 KL 距离和基准对比数据,读者可以据此判断这套 QAT 权重的实际损失有多大。

  11. Hugging Face Blog75

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活

    Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。

    推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。

  12. Hugging Face · 新模型:uncensored24

    shimbaaa 发布 Supra2-100M-Uncensored-Instruct:基于 Supra2-100M-Base 的 100M 无审查指令模型

    shimbaaa 在 Hugging Face 上发布 Supra2-100M-Uncensored-Instruct,一个 100M 参数的指令模型,基于 SupraLabs/Supra2-100M-Base 经两阶段 LoRA 训练,训练上下文长度 512,采用 Apache-2.0 许可。模型被训练为以 Yes-Man 风格顺从用户提示,未做安全对齐,会认同错误前提;两阶段均混入 Dolly-15k 回放数据以减少灾难性遗忘。

  13. Reddit · r/LocalLLaMA59

    FLUX 3 Image Klein 开放权重发布,5.6B 文生图与图像编辑模型

    FLUX 3 Image Klein 开放权重发布,是一个 5.6B 的文生图与图像编辑模型。它接受提示词和最多 10 张参考图并输出一张图,文生图、单参考图编辑和多参考图合成走同一模型,文本编码器为 Qwen3-VL-4B-Instruct,权重在 Hugging Face 上提供。

    同一新闻,精选展示《Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers》

  14. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next 无审查版 Q4_K_M .basalt 包发布(Hugging Face)

    Hugging Face 上发布了一个可直接运行的 .basalt 格式包,为无审查版 Qwen3.8-Flash-Next 的 Q4_K_M 量化构建,基于 125B 级 MoE 模型(qwen4exp 架构),文件大小 114.06 GiB,内置 Qwen tokenizer 与聊天模板,支持 --vision 图像输入。运行需 NVIDIA Blackwell GPU(compute capability 12.0)与 CUDA 13;在单张 RTX 5090 上 512k 上下文解码约 220 tok/s、prefill 约 5,900 tok/s。该仓库目前为私有测试状态,采用 Qwen Community License 1.0。

  15. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。

10月15日周四
  1. Reddit · r/LocalLLaMA51

    Mistral 发布时间序列基础模型 Timestral 并开放权重

    Mistral 发布时间序列基础模型 Timestral,提供 5M、28M、123M 和 209M 四个参数版本,用于零样本预测,权重已在 Hugging Face 开放。209M 版采用带时间注意力和变量注意力的 patch-based transformer,共 24 层,支持单变量与多变量预测、过去型与已知未来协变量,可输入最多 32,768 个历史时间步,单次前向最多预测 1,024 步,输出 21 个分位数的概率预测;源代码已在 GitHub 开放以复现基准结果。

  2. Hugging Face · 新模型:abliterated42

    notfakerv 发布 LFM2.5-24B-A2B-abliterated 的 GGUF 量化版本

    notfakerv 在 Hugging Face 发布 abliterated 版 LFM2.5-24B-A2B 的 GGUF 量化文件,含 Q4_K_M(14.53 GB)、Q8_0(25.49 GB)和实验性 NVFP4(14.02 GB)三种,均来自同一 BF16 编辑后 checkpoint,未做额外训练。该版本采用 AtomicChat 公开的 late-block 方向性编辑(blocks 14-39,强度 1.75),16 条拒答提示词上关键词拒答从 16 降至 1,但 IFEval 32 例中从 27 降至 25。沿用原 LFM Open License v1.0,含 1000 万美元年营收商业限制。

  3. Hugging Face · 新模型:uncensored50

    xtools-at 发布 Qwen3.5-2B-MultiDistill-Megamix-6xMerge-UNCENSORED-heretic 去审查版模型

    xtools-at 基于 Qwen3.5-2B-MultiDistill-Megamix-6xMerge,用 Heretic v2.0.0.dev0 制作出去审查(decensored)版本并开源在 Hugging Face。该模型为 2B 参数的六模型线性加权合并,拒绝率从原版的 96/100 降至 1/100,KL 散度为 0.0295,支持推理、数学、编程与图文交互,并提供复现说明。

  4. Hugging Face · 新模型:abliterated26

    Huihui-Qwen3.8-27B-abliterated 发布 RBLN 编译版,适配 16× RBLN-CA25 NPU

    iAcloud 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 RBLN 预编译版本,使用 optimum-rbln 0.11.2 针对 16 块 Rebellions RBLN-CA25 NPU 编译,支持 262,144 上下文长度和 batch-1 解码,编译耗时 990.9 秒,产物约 55.8 GiB。该版本为编译验证版而非推理基准,运行时加载、生成与长上下文精度尚未测试,需 RBLN NPU 和 RBLN SDK,采用 Apache-2.0 许可。

  5. Hugging Face Blog73

    Apertus 1.5 发布:8B 与 70B 开放权重模型新增多模态与思考模式

    Project Apertus 发布 Apertus 1.5,在 8B 和 70B 两代模型基础上以继续预训练方式加入图像与音频理解、可选思考模式,上下文窗口扩至 262,144 tokens(4 倍),权重于 2026 年 7 月 24 日以 Apache 2.0 许可上传 Hugging Face。8B 与 70B 分别新增 4T 和 2T tokens 训练数据,多模态通过 Emu3.5 图像 tokenizer 和 WavTokenizer 以 early-fusion 方式并入词表,架构不变;后训练含 SFT、RLVR、DPO 与 SDPO,并公开中间检查点、数据混合与技术报告(arXiv:2610.15542)。

    推荐理由:官方发布说明完整公开了四阶段预训练、五阶段后训练流程与中间检查点,读者可复现各阶段对模型行为的影响。

  6. Hugging Face · 新模型:uncensored32

    Qwen3.8-27B Uncensored 的 NInfer DFlash2 工件发布,单张 RTX 5090 可运行

    Hugging Face 上发布了一个 NInfer v3(.ninner)工件,将 orcarouter/Qwen3.8-27B-Uncensored-NVFP4 转换并加入 DFlash2 投机解码支持,草稿模型来自 z-lab/Qwen3.8-27B-DFlash2。该 Qwen3.8-27B 视觉语言模型可在单张 RTX 5090(32 GB)上运行,启动占用约 31.6 GB,实测约 164 tokens/s,DFlash2 草稿接受率约 26%,保留 abliterated 无审查行为,采用 Apache-2.0 许可证。

  7. Hugging Face · 新模型:abliterated46

    Qwen3.5-9B-Abliterated-V2 发布:零拒绝且保留深度推理的 abliterated 版本

    Hugging Face 上发布 Qwen3.5-9B-Abliterated-V2,提供 BF16 与 GGUF Q8_0 格式,abliterated 处理后零拒绝且保留深度推理,可在 RTX 5080(16 GB)上运行。GSM8K 对比测试显示,其与原版 Qwen3.5-9B 均达 90.0% 精度,而 Xiaomi MiMo-V2.6-Distill 以 150-400 tokens 的精简推理快 7.4 倍;原版此前失利源于输出被截断在 1,024 tokens,给予 16,384 tokens 后即全部解对。

  8. Hugging Face · 新模型:uncensored30

    Haiseni 发布 UncensoredLM-DeepSeek-R1-Distill-Qwen-14B 实验预览版

    Haiseni 在 Hugging Face 上推出 UncensoredLM-DeepSeek-R1-Distill-Qwen-14B 实验预览版,这是一款带推理能力的去审查模型,基于 DeepSeek-R1-Distill-Qwen-14B。模型采用固定的提示词模板(含 instruction、input、output 字段),作者称拒绝对齐边界清晰,并征集用户反馈以持续改进。

  9. Hugging Face · 新模型:abliterated28

    mradermacher 发布 MiniCPM-V-4.7-35B-A3B-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 MiniCPM-V-4.7-35B-A3B-abliterated 的 i1-GGUF 量化版本,提供 Q2_K 等量化格式。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan 等工具运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理,也可配置到 Pi、Hermes、OpenClaw 等 Agent 工具中使用。

  10. Hugging Face · 新模型:uncensored22

    mradermacher 发布 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 发布 Qwen3.5-4B-MultiDistill-3xMerge-UNCENSORED-heretic 的 GGUF 静态量化版本,提供从 Q2_K(2.0GB)到 f16(8.5GB)的多档量化文件,其中 Q4_K_S/Q4_K_M 标注为快速推荐档,Q8_0 为最佳质量档,并附带 mmproj 多模态补充文件。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。

  11. Reddit · r/LocalLLaMA61

    TYGER 开放权重:单一模型同时做 ASR 与全双工轮次控制

    nineninesix 开放 TYGER 权重,单一模型同时处理 ASR 与全双工轮次控制,能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead;配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成,单张 32 GB GPU 最多支持 4 路对话,目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger,代码在 https://github.com/nineninesix-ai/tyger-s2s。

    推荐理由:作者给出端点延迟、帧长和单卡并发数等具体指标,可据此评估这套语音方案在本地部署的可行性。

  12. Hugging Face · 新模型:abliterated66

    Pragmatism0220 发布 Qwen3.8-Flash-Next 拒绝方向控制向量 GGUF

    Pragmatism0220 在 Hugging Face 发布单文件 GGUF 控制向量,提取 huihui-ai 对 Qwen3.8-Flash-Next 去对齐版本所移除的拒绝方向,可在基础模型任意 GGUF 量化上运行时加载并自行调节强度。该文件 483,520 B,含 47 层 F32 方向张量;实测显示 huihui 的发布只编辑 96 个写入残差流的矩阵,v2 以约 1.78 倍 v1 的强度使用同一方向,与 v2 量化权重的方向偏差 3.3×10⁻⁶ 低于测量噪声底。支持 llama.cpp 的 --control-vector 加载,-1.0 近似 v1、-1.78 近似 v2;仓库未包含拒绝率等行为评测。

    推荐理由:把 huihui-ai 去对齐版本实际改动的拒绝方向抽成独立控制向量,附权重空间实测数据,可在任意 GGUF 量化上运行时调节强度。

  13. Hugging Face · 新模型:abliterated42

    DavidAU 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x GGUF 量化测试版

    DavidAU 的 Qwen3.8-Flash-Next-Turbo-Brilliance-50x 消融版(abliterated/uncensored)GGUF 量化正在测试,模型为 180B 参数、512 专家激活 10 的 MoE,量化升级为 GSQ-RCO。测试显示 IQ3_XXS(3.00 bpw、75.8 GB)达到 BF16 基线任务平均的 99.4%,Q2_0 仅 66.4 GB;速度测试中 46 GB 双 GPU 加内存卸载达 17 t/s,用户可申请访问并在量化发布时收到邮件通知。