跳到正文
10月21日周三
  1. Hugging Face · 新模型:uncensored25

    mradermacher 发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本

    mradermacher 在 Hugging Face 上发布 gemma-4-E4B-it-The-DECKARD-Expresso-Universe-HERETIC-UNCENSORED-Thinking 的 bf16 GGUF 量化版本。文档给出通过 llama.cpp、Ollama、Docker 等工具运行 Q4_K_S 量化文件的命令,可直接启动 OpenAI 兼容本地服务器或在终端推理。

  2. Hugging Face · 趋势模型59

    HuggingFaceBio 发布 14.8B DNA 语言模型 Carbon-X

    Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X,基于 Qwen3-14B,用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%(关闭思考),比起点 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800,分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU,可用 vLLM 部署,支持作为 agent 工具调用,未做临床验证、不可用于医疗决策。

    推荐理由:原文给出五项 DNA 基准得分、成本对比和完整训练配方,读者可以据此评估这个 DNA 语言模型的实际水平与用法。

  3. Reddit · r/LocalLLaMA52

    OvisOCR3 发布:基于 Qwen3.5-0.8B 的 OCR 模型,支持结构化输出与跨页表格重建

    OvisOCR3 基于 Qwen3.5-0.8B,以 Apache 2.0 开放,附 vLLM 推理示例。新增结构化 JSON 输出(含边界框与元素类别)、按字段或 JSON 模板的关键信息抽取、图表描述与流程图 Mermaid 输出,以及先解析再用同一模型合并相邻页表格片段的跨页表格重建。官方报告 OmniDocBench v1.6 得分 96.74、MDPBench 88.80(由 69.00 提升)、PureDocBench 82.31(由 75.10 提升)。

  4. Reddit · r/LocalLLaMA45

    InternScience 发布 Sage-A1.5:基于 Qwen3.6-35B-A3B 的 35B MoE 智能体模型微调

    InternScience 发布 Sage-A1.5,一个基于 Qwen3.6-35B-A3B 微调的 35B Mixture-of-Experts 智能体模型,主打长程科学问题求解。该模型支持跨子智能体的并行任务编排与独立上下文、可选的链式思维内自验证,以及原生 function calling 等工具集成能力,提供 GGUF 格式供社区使用。

  5. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 1.66bpw EXL3 量化可完整装入 5090 并稳定推理

    /u/Unstable_Llama 在 r/LocalLLaMA 分享 Qwen3.8-Flash-Next 的 1.66bpw EXL3 量化版本,无需 offload 专家即可完整装入 5090。推理全程稳定、无推理循环,速度 200-300 t/s;因 32 GB 显存即便配合 cache 量化上下文空间仍紧张,需做较多 compacting。权重发布在 https://huggingface.co/turboderp/Qwen3.8-Flash-Next-exl3,附量化模型生成的液体猫演示视频。

  6. Reddit · r/LocalLLaMA48

    KRAFTON 发布 Raon-1-mini-preview:30B-A4B MoE 开源模型

    KRAFTON AI 从零训练的 Raon-1 mini 是 30B-A4B 的 MoE 大语言模型,以 Apache 2.0 许可开源,主打韩语对话与智能体任务。模型内置思考能力,支持 Hermes Agent、Pi 和 OpenCode 的工具调用,并提供 DFlash2 草稿模型加速投机解码;提供 MXFP8 与 NVFP4 量化版本,NVFP4 可在单张 RTX 5090(32 GB VRAM)上推理。

  7. Hugging Face · 新模型:uncensored22

    botp/Moss-image-nsfw-uncensored-lora:基于 MOSS-Image-SFT 的 NSFW 去审查 LoRA 使用指南

    botp/Moss-image-nsfw-uncensored-lora 是一个用于 OpenMOSS-Team/MOSS-Image-SFT 的 NSFW 去审查 LoRA 权重,可通过 Diffusers 加载,提示词以触发词 moss_xvstyle 开头。官方文档给出 pip 安装与推理代码示例,并支持 Google Colab、Kaggle、Draw Things、DiffusionBee 等笔记本与本地应用。

  8. Hugging Face · 新模型:abliterated20

    pottokao 发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型

    pottokao 在 Hugging Face 上发布 MiniMax-H3-TextEncoder-16GB-abliterated-GGUF 模型,提供 abliterated 版本的 GGUF 格式。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行,支持启动 OpenAI 兼容本地服务器,并兼容 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种工具。

  9. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  10. Hugging Face · 新模型:abliterated12

    dealignai 发布 Ornith-1.5-122B-ABLITERATED GGUF 版本

    dealignai 在 Hugging Face 上架 Ornith-1.5-122B 的 ABLITERATED GGUF 版本。该列表不含模型权重,权重与完整模型卡位于 dealignai/Ornith-1.5-122B-UNCENSORED-GGUF 仓库,下载、评测结果和运行说明请使用该 UNCENSORED 仓库,基座模型为 ornith-ai/Ornith-1.5-122B。

  11. AIHOT · 精选56

    Meta 开源权重模型 Muse Spark Open 在 Fireworks 上线,816B MoE 支持 1M token 上下文

    Meta 的开源权重模型 Muse Spark Open 在 Fireworks 上线,提供 Day-0 serverless 调用。该模型为 816B 参数 MoE 架构,每 token 激活 42B 参数,上下文窗口 1M token,主打长上下文编码与 Agent 工作。

    推荐理由:给出了参数规模、激活参数和上下文窗口等关键配置,读者可据此判断该模型是否适合长上下文和 Agent 场景。

  12. Hugging Face · 新模型:abliterated18

    dan9070 发布 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated 量化模型(IQ3_S/Q8PLE)

    dan9070 在 Hugging Face 上发布 abliterated 版模型 Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-Q8PLE,提供 Q8_0 等量化版本。该模型可通过 llama.cpp 本地运行,支持 OpenAI 兼容服务器与终端推理,并可在 Ollama、Docker Model Runner、Lemonade 等工具中直接调用。

  13. Hugging Face · 新模型:uncensored42

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen-Image-2.1 Uncensored 量化模型,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 且被推荐为体积与质量的最佳平衡,MLX 格式针对 Apple Silicon 优化。该版本无内置安全检查或内容过滤,可直接生成成人、NSFW 及敏感图像,需配合 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器 qwen3vl_8b_int8_convrot 可卸载到系统内存以节省 9–17 GB 显存。

  14. Reddit · r/LocalLLaMA38

    Spark-X2.6-4B 发布:基于 Spark-X2.5-4B 后训练升级的端侧小模型

    Spark-X2.6-4B 发布,架构与 Spark-X2.5-4B 完全相同,能力提升来自改进的后训练,在编程、智能体、长上下文、多语言和推理等方面显著增强。该模型在同等规模开源模型中达到 SOTA,可匹敌约 9B 参数的模型,并提供 none、low、high 三档可配置思考预算以平衡推理质量、延迟与推理成本,面向端侧部署。

  15. Hugging Face · 新模型:uncensored43

    MiMo-V2.6-Flash-RL-UNCENSORED 实验性 IQ2 量化 GGUF 发布

    BattleGhost 发布 dealignai/MiMo-V2.6-Flash-RL-UNCENSORED 的实验性 GGUF 量化版本,默认 IQ2_XXS、47 个专家 FFN down 投影用 IQ2_S,4 分片共 91.70 GB,MIT 许可。WikiText-2 测试中相对 MXFP4 参考困惑度升至 6.539(高 37.4%),优于全 IQ2_XXS 版本的 6.886。该版本面向 llama.cpp 本地推理,不新增安全训练或内容审核。

  16. Hugging Face · 新模型:uncensored21

    s2czk 发布 Moss-image-nsfw-uncensored-lora:基于 MOSS-Image-SFT 的去审查 LoRA

    s2czk 在 Hugging Face 上发布 Moss-image-nsfw-uncensored-lora,一个基于 OpenMOSS-Team/MOSS-Image-SFT 的去审查 LoRA 权重,可通过 Diffusions 的 load_lora_weights 加载,使用触发词 moss_xvstyle 生成图像。该模型支持 Google Colab、Kaggle 等笔记本环境,以及 Draw Things、DiffusionBee 等本地应用。

  17. Reddit · r/LocalLLaMA68

    Kyutai 发布 1.9M 至 18.2M 参数的 Pocket TTS 小型语音克隆模型

    Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型,参数量分别为 1.9M、6.9M 和 18.2M,均为英语模型,支持声音克隆并设计为在 CPU 上运行,可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM,倾向从 6.9M 版本入手;参数量统计包含音频解码器,处理参考声音的编码器是独立的,参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。

    推荐理由:作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路,并指出参数量统计包含音频解码器这一细节。

  18. Reddit · r/LocalLLaMA46

    Agnes AI 发布 agnes-3.0-qwen:基于 Qwen 的 QFN 微调多模态推理模型

    Agnes AI 发布 agnes-3.0-qwen,一款约 180B 参数(512 专家、每 token 激活 10 个)的混合注意力 MoE 多模态推理模型,采用 Qwen Community License 1.0。该模型在 τ³-Banking 位列对比组第一,Terminal-Bench 2.1 距最佳模型约一分,IFBench 上超过 GPT-5.6 Sol (Max) 和 Claude Opus 4.8 (Max)。支持 1,048,576 token 上下文、65,536 最大输出、文本/图像/视频输入、工具调用及 xhigh/medium/low 三档推理力度。

10月20日周二
  1. Hugging Face · 新模型:abliterated37

    Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3 量化分支发布

    Hugging Face 上发布 edp1096/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-exl3,基于 Turboderp EXL3 底座与 Huihui GGUF 供体张量,保留路由专家、视觉与 MTP,替换 18 个注意力输出 B 和 18 个共享专家下投影(Q8_0 解码为 F16)。提供 2.04bpw/75.97 GiB、2.27bpw/83.47 GiB、2.52bpw/94.08 GiB 三个分支,实测移植后上下文 129,996 至 1,046,999,各分支按 1M 窗口配置,测试引擎为 ExLlamaV3 1.5.4 与 TabbyAPI。

  2. Hugging Face · 新模型:uncensored34

    Qwen3.6-27B-Uncensored Genesis 版 GGUF 发布:基于 Genesis 张量修复算法的去噪模型

    burningfeet 发布基于 HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive 的 Genesis 版 GGUF 模型,采用 Genesis 后训练数据再生与校准算法,通过基于 Marchenko–Pastur 分布的自定义 SVD 修复张量噪声,保留 99% 信号与学习梯度,无需重新训练。该 27B 稠密模型原生支持 262,144 token 上下文(可扩展至 1,000,000),支持文本、图像和视频理解,推荐 NVFP4 量化,兼容 llama.cpp、LM Studio、koboldcpp 等 GGUF 运行时。

  3. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  4. Hugging Face · 新模型:uncensored21

    Dyluhn 发布 Qwen3.8-Flash-Next-Uncensored 的 EXL3 4.03 bpw 量化(shared input vector)

    Dyluhn 于 2026-10-20 发布 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 EXL3 量化版本,总体 4.03 bpw,采用 exllamav3 1.5.2 与 turboderp 的 4.05 设置,所有 routed expert 压至 4 bpw、attention 6 bpw。模型引入层内共享输入 sign/scale 向量(suh)以支持开发中的 radiance-exl3 内核,n-gram 表沿用 turboderp 版本且与基座逐字节一致。该仓库未在 exllamav3 中实测,质量未测量;许可证为 Qwen Community License 1.0。

  5. Hugging Face · 新模型:uncensored24

    mradermacher 发布 LFM2.5-24B-A2B-uncensored-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 i1-GGUF 量化版本,示例量化为 Q2_K。该模型可通过 llama.cpp 在本地运行,支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理,也可用 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent。