跳到正文
10月21日周三
  1. Hugging Face · 新模型:abliterated18

    dan9070 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 量化模型(IQ3_S/Q8PLE)

    dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE,提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。

  2. Hugging Face · 新模型:uncensored42

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen-Image-2.1 Uncensored 量化模型,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡,MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查或内容过滤,可直接生成成人、NSFW 及敏感图像,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b_int8_convrot 可卸载到系统内存以节省 9–17 GB 显存。

  3. Reddit · r/LocalLLaMA38

    Spark-X2.6-4B 发布:基于 Spark-X2.5-4B 后训练升级的端侧小模型

    Spark-X2.6-4B 发布,架构与 Spark-X2.5-4B 完全相同,能力提升来自改进的后训练,在编程、智能体、长上下文、多语言和推理等方面显著增强。该模型在同等规模开源模型中达到 SOTA,可匹敌约 9B 参数的模型,并提供 none、low、high 三档可配置思考预算以平衡推理质量、延迟与推理成本,面向端侧部署。

  4. Hugging Face · 新模型:uncensored43

    MiMo-V2.6-Flash-RL-UNCENSORED 实验性 IQ2 量化 GGUF 发布

    BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本,默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S,4 分片共 91.70 GB,MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539(高 37.4%),优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理,不新增安全训练或内容审核。

  5. Hugging Face · 新模型:uncensored21

    s2czk 发布 Moss-image-nsfw-uncensored-lora:基于 MOSS-Image-SFT 的去审查 LoRA

    s2czk 在 Hugging Face 上发布 Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusions 的 load_lora_weights 加载,使用触发词 moss_xvstyle 生成图像。该模型支持 Google Colab、Kaggle 等笔记本环境,以及 Draw Things、DiffusionBee 等本地应用。

  6. Reddit · r/LocalLLaMA68

    Kyutai 发布 1.9M 至 18.2M 参数的 Pocket TTS 小型语音克隆模型

    Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型,参数量分别为 1.9M、6.9M 和 18.2M,均为英语模型,支持声音克隆并设计为在 CPU 上运行,可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM,倾向从 6.9M 版本入手;参数量统计包含音频解码器,处理参考声音的编码器是独立的,参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。

    推荐理由:作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路,并指出参数量统计包含音频解码器这一细节。

  7. Reddit · r/LocalLLaMA46

    Agnes AI 发布 agnes-3.0-qwen:基于 Qwen 的 QFN 微调多模态推理模型

    Agnes AI 发布 agnes-3.0-qwen,一款约 180B 参数(512 专家、每 token 激活 10 个)的混合注意力 MoE 多模态推理模型,采用 Qwen Community License 1.0。该模型在 τ³-Banking 位列对比组第一,Terminal-Bench 2.1 距最佳模型约一分,IFBench 上超过 GPT-5.6 Sol (Max) 和 Claude Opus 4.8 (Max)。支持 1,048,576 token 上下文、65,536 最大输出、文本/图像/视频输入、工具调用及 xhigh/medium/low 三档推理力度。

  8. Hugging Face · 新模型:abliterated68

    jcartu 发布 DeepSeek-V4.1-Flash-1017 消融版无损 FP4-CSF 权重

    jcartu 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 版本,用 grimjim 保范数双投影方法在 4-36 层反转拒绝方向,仅改写 attn.wo_b 与共享专家 FFN w2 两类张量,打包为 Local Inference Lab 的无损 FP4-CSF 格式。实测拒绝数从 17 降到 1,MMLU 保持 88.95% 不变,KL 散度仅比运行间噪声高约 0.011;CSF 版需通过 LiL vLLM 镜像以 --load-format mxfp4_csf 加载,权重 MIT 许可,访问需向 Local Inference Lab 社区申请。

    推荐理由:原文给出完整的消融方法、拒绝率前后对照和 MMLU、KL 散度等质量数据,读者可据此评估这个去对齐版本的实际代价。

10月20日周二
  1. Hugging Face · 新模型:abliterated37

    Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3 量化分支发布

    Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3,基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量,保留路由专家、视觉与 MTP,替换 18 个注意力输出 B 和 18 个共享专家下投影(Q8_0 解码为 F16)。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支,实测移植后上下文 129,996 至 1,046,999,各分支按 1M 窗口配置,测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。

  2. Hugging Face · 新模型:uncensored34

    Qwen3.6-27B-Uncensored Genesis 版 GGUF 发布:基于 Genesis 张量修复算法的去噪模型

    burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型,采用 Genesis 后训练数据再生与校准算法,通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声,保留 99% 信号与学习梯度,无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文(可扩展至 1,000,000),支持文本、图像和视频理解,推荐 NVFP4 量化,兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。

  3. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  4. Reddit · r/LocalLLaMA46

    Ornith-1.5-122B 发布:基于 Qwen 微调的端到端自我改进模型

    Ornith 团队发布 Ornith-1.5-122B,一个基于 Qwen3.5 与 Gemma4 继续预训练、mid-training 和 post-training 构建的 122B 模型。该模型将自我改进循环从 scaffold 与 rollout 优化扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成新训练任务并改进策略,不依赖人工策划的固定任务集。

  5. Hugging Face · 新模型:uncensored21

    Dyluhn 发布 Qwen3.8-Flash-Next-Uncensored 的 EXL3 4.03 bpw 量化(shared input vector)

    Dyluhn 于 2026-10-20 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 EXL3 量化版本,总体 4.03 bpw,采用 exllamav3 1.5.2 与 turboderp 的 4.05 设置,所有 routed expert 压至 4 bpw、attention 6 bpw。模型引入层内共享输入 sign/scale 向量(suh)以支持开发中的 radiance-exl3 内核,n-gram 表沿用 turboderp 版本且与基座逐字节一致。该仓库未在 exllamav3 中实测,质量未测量;许可证为 Qwen Community License 1.0。

  6. Hugging Face · 新模型:abliterated64

    DeepSeek-V4.1-Flash-1017 Maya-S abliterated GGUF 发布,有害拒绝率从 100% 降至 4%

    Kiwimaker 发布 DeepSeek-V4.1-Flash-1017 Maya-S 的 abliterated GGUF 替换分片,对每个模型 62 个张量施加 rank-2 拒绝削减编辑,提供 Maya v1.1.17 六分片、v1.1.16 四分片及多个 unsloth 布局。实测显示有害拒绝率从 100% 降至 4%,校正准确率差异 0/50,needle 检索 6/6 保持,解码速度下降约 12.8%。附完整下载校验、Maya 部署与编辑复现脚本,MIT 许可。

    推荐理由:原文给出拒绝率前后对比、needle 检索与速度数据,读者可据此判断这个去对齐版本损失了多少能力。

  7. Hugging Face · 新模型:uncensored24

    mradermacher 发布 LFM2.5-24B-A2B-uncensored-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 i1-GGUF 量化版本,示例量化为 Q2_K。该模型可通过 llama.cpp 在本地运行,支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理,也可用 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent。

  8. Hugging Face · 趋势模型53

    lodestones 发布 Kromoss:MOSS-Image-Base 的 1024px 全参微调,附 8 步 DMD turbo LoRA

    lodestones 在 Hugging Face 发布 Kromoss,是对 MOSS-Image-Base 的全参微调(1024 px,704k 训练图,发布 EMA 权重),架构与 MOSS-Image-SFT 相同、可直接替换,主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors(8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA)、int8 ConvRot 量化单文件(5.4 GB)、ComfyUI 原生支持与转换脚本,权重采用 Apache 2.0 许可。PartiPrompts(100 提示词,CLIP ViT-L/14)显示 Kromoss + LoRA 得分 27.82,高于 MOSS-Image-Base 的 27.19。

    推荐理由:这是官方模型卡,给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字,便于直接上手和评估效果。

  9. Hugging Face · 新模型:uncensored74

    DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布,单张 RTX 4090 可跑 552B MoE

    开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版(163 GB,152 GiB 专家权重),基于 dealignai 的 abliterated 无拒绝行为检查点,需搭配自研 Xolotl 引擎在 RTX 4090(24 GB)加 90 GB 内存加 NVMe 的单机上运行,512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层,总位宽与均匀 2.25-bit 持平,校准代理上输出误差比均匀 Q2_0 低 17%;实测 prefill 约 250 tok/s,DSpark 解码 17-30 tok/s,HumanEval 21/21、工具调用 10/10。

    同一新闻,精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布,单张 RTX 4090 可跑 552B MoE》

  10. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  11. Hugging Face · 新模型:uncensored58

    Qwen3.8-Flash-Next-Uncensored NVFP4 版发布,可在单块 96 GB Blackwell 上部署

    sysop1122 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 量化版,将 OrcaRouter 的消融 BF16 权重按 Primitive 的 experts-only RTN 方案打包,路由专家为 NVFP4 group 16,51B PLE n-gram 表保持 BF16 以支持 VLLM_PLE_CPU_OFFLOAD。消融沿用 Arditi et al. (2024) 的拒绝方向移除,仅编辑 149 个残差写入张量,未改动视觉塔、MoE 路由和 gate_up_proj;该版本未重跑 AdvBench/HarmBench 评分,仅做了文本、视觉 OCR 和工具调用解析的抽查。

    推荐理由:模型卡给出了消融编辑的具体张量清单和 DGX Spark 实测吞吐数据,读者可据此判断去对齐程度与单卡部署成本。

  12. Hugging Face · 新模型:abliterated18

    mradermacher 发布 flux-3-image-klein-prompt-upsampler abliterated 版 GGUF 模型

    mradermacher 在 Hugging Face 上发布 flux-3-image-klein-prompt-upsampler 的 abliterated GGUF 版本,提供 F16 量化。该模型可通过 llama.cpp 在本地运行,支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理,也可用 Ollama、Docker Model Runner、Lemonade 等工具加载。

  13. Hugging Face · 新模型:uncensored32

    mradermacher 发布 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic 的 GGUF 量化版本,示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行,支持 llama-server 启动 OpenAI 兼容服务器和 llama-cli 直接推理,也可用 Ollama、Docker Model Runner、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等智能体工具。

  14. Hugging Face · 趋势模型58

    FastVideo 发布 FastH3 Omni 的 ComfyUI 版 BF16 与 INT8 ConvRot 模型

    FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重,提供 BF16 和 INT8 ConvRot 两种扩散模型,可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE,采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0,参考输入用 <Picture 1> 等标签;NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发,权重遵循 MiniMax-H3 Community License Agreement。

    推荐理由:原文给出完整文件清单、采样参数和不同硬件的部署路径,想本地跑 ComfyUI 视频加音频生成可以直接照做。

  15. GitHub · 去对齐工具与仓库47

    GLM-Edge 端侧模型系列开源:含 1.5B/4B 对话与 2B/5B 多模态模型

    GLM-Edge 系列端侧模型发布,包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型,1.5B/2B 面向手机、车机,4B/5B 面向 PC。在高通骁龙 8 Elite 平台上,1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码,配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载,支持 Transformers、vLLM、OpenVINO 推理。

  16. arXiv · cs.CL66

    MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力

    研究团队发布 MemT-1.0 记忆基础模型架构,基于 Metis 和 Gated DeltaNet-2,通过 Mixture-of-Storage 扩展原生记忆容量,采用继续预训练加后训练的两阶段训练流程,训练数据 34B tokens,提供 Nano 和 Flash 两个版本。评测显示其平均优于参数化记忆基线、与检索增强方法相当,在 128K tokens 历史长度下 MemT-1.0-Nano 相比全上下文 KV cache 实现约 1.86 倍端到端推理加速和 66 倍持久存储缩减,论文链接 https://arxiv.org/abs/2610.26825v1。

    推荐理由:原文给出记忆基础模型的架构设计、训练数据和评测对比,读者可以据此了解把记忆内化为模型计算的具体做法与代价。

  17. Hugging Face · 趋势模型69

    Recursive 发布 MoE 编码智能体模型 Flint,unsloth 上线 GGUF 量化版

    Recursive 发布了面向编码智能体的 MoE 语言模型 Flint,总参数 39.8B、每 token 激活约 2.5B,在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层(2 稠密 + 47 MoE)、262,144 token 上下文,以 Apache 2.0 许可发布,附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本,unsloth 提供 GGUF 格式和运行指南。

    推荐理由:官方模型卡给出了架构细节、评测设置和基准分数来源标注,读者可以据此了解这款小激活参数编码智能体模型的实际规格。

  18. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama,本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议开源,支持文本、JSON 与图像输入,可一次读取输入并同时对所有问题的答案打分,兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index,在 Jev benchmark 套件多数项目上超过 Jev,例如 BFCL case exact 98.47 对 95.75;43 个评测的延迟中位数为 209.3ms(Clef-flash 为 38.8ms)。

    推荐理由:官方发布了多模态决策模型 Clef 的完整基准与延迟数据,读者可以直接对比它和 Jev 等模型在各场景的实际表现。