跳到正文
只看开源模型
10月9日周五
  3. Hugging Face · 新模型：uncensored37

    Qwen-Image-2.1 Uncensored GGUF 量化版本发布，支持 ComfyUI 本地图像生成

    Hugging Face 用户 robertbschuette 发布了 Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供从 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M（4.60 GB）作为体积与质量的最佳平衡。该版本移除内置安全检查与内容过滤，可直接生成 NSFW 等敏感图像。模型可在 ComfyUI 中配合 qwen3vl_8b 文本编码器与 VAE 使用，文本编码器可卸载至系统内存，节省 9–17 GB 显存。

  4. Reddit · r/LocalLLaMA62

    腾讯 Youtu-Parsing-Omni 发布：5B 全模态解析模型，OmniDocBench v1.6 得分 96.96

    腾讯在 Hugging Face 开源 Youtu-Parsing-Omni，一个 5B 全模态解析模型，单次输入文档页、自然图像、图表、流程图、几何图形、音频或音视频，按任务提示词输出统一 JSON 结构，覆盖版面、表格、公式、ASR、OCR、声学事件等感知结果与描述类认知结果。模型在 OmniDocBench v1.6 拿到 96.96 Overall，OmniParsingBench 平均 75.08 为最佳开源权重模型（仅次于 Gemini-3-Pro），并附带 vLLM 插件与推理示例。

    推荐理由：原文给出了 5B 尺寸模型在 OmniDocBench v1.6 和 OmniParsingBench 上的具体分数，可据此评估它的文档与多模态解析水平。

  6. Hugging Face · 新模型：abliterated22

    Huihui-GLM-5.3-Flash-abliterated-GGUF 模型在 Hugging Face 上提供多种推理部署方式

    muterornament/Huihui-GLM-5.3-Flash-abliterated-GGUF 现已在 Hugging Face 上提供，是一个图像-文本到文本的 abliterated GGUF 模型，支持 UD-Q4_K_XL 等量化版本。用户可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、LM Studio 等多种工具运行，llama.cpp 和 vLLM/SGLang 均提供 OpenAI 兼容 API，支持文本与图像输入。

  7. Hugging Face · 新模型：uncensored60

    GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版发布

    gopiprakan 发布了 GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本（平均 3.04 bpw，273 GiB），上游是 dealignai 对 zai-org/GLM-5.3 做权重编辑得到的无微调变体，编辑记录保存在 CRACK_SURVEY. 同目录的 CRACK_SURGERY.。量化版在 wikitext-2 上相对 FP8 源的 KL 散度为 0.089/0.097，perplexity 3.440 对 3.302；tau2-bench 实测中 airline 和 retail 两域与原版 GLM-5.3 FP8 的差异分别为 -0.070 和 -0.022，样本量下不具统计显著性。

  8. Reddit · r/LocalLLaMA57

    Qwen3.5-2B-RCOL 动态低比特量化发布，KLD 显著优于标准 imatrix 量化

    Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化（IQ1_M、IQ2_M、IQ3_M），基于对 ISTALab RCO 算法的修改，可在严格 VRAM 预算下量化模型，且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进，并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表，IQ1_M 散度大幅下降；GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL，后续计划应用于家族更大模型。

  9. Hugging Face · 新模型：abliterated21

    mradermacher 发布 Ostrich-27B-261008-Qwen3.8-Abliterated GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Ostrich-27B-261008-Qwen3.8-Abliterated 的静态 GGUF 量化版本。提供多种量化格式，其中 Q4_K_S 为 15.9 GB、速度快且被推荐，另含 mmproj-Q8_0（0.7 GB）与 mmproj-f16（1.0 GB）多模态补充文件；weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 申请。

  10. GitHub · 去对齐工具与仓库59

    Cactus Compute 发布端侧基础模型 Needle 3，权重开放在 Hugging Face

    Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3，整个模型是单个 8-29 MB 二进制文件，权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network，2 到 20 层每档深度都是可部署模型，在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现，并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle（16.9 MB，支持 7 种语言）。提供 needle finetune 本地 LoRA 微调与平台微调两种方式，DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。

    推荐理由：Cactus 官方开源了面向微型设备的 Needle 3，并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径，适合本地部署场景参考。

  11. Hugging Face · 新模型：abliterated21

    hotdogs 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf GGUF 模型

    hotdogs 在 Hugging Face 上发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf，提供 Q2_0 量化格式的 GGUF 权重。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理，也支持 Docker、Ollama、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载运行。

  12. Hugging Face · 新模型：abliterated33

    ThinkingCap-Qwen3.8-27B-abliterated UD-Q4_K_XL GGUF 量化版发布

    groxaxo 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-abliterated 的 UD-Q4_K_XL GGUF 量化版，共 866 个张量，直接从 BF16 checkpoint 转换并采用 Unsloth 的张量布局与 imatrix。附带独立 MTP draft、视觉 mmproj 和 chat_template.jinja，支持 llama.cpp 的 --spec-type draft-mtp 投机解码、enable_thinking 以及 low/medium/xhigh 推理力度。模型采用 PolyForm Small Business License 1.0.0，仓库声明不提供新的质量基准。

  13. Hugging Face · 趋势模型60

    Cloudflare 开源 30B-A3B 多模态 MoE 模型 Clef-Omni

    Cloudflare 在 Hugging Face 发布 Clef-Omni，一个 30B-A3B 的 MoE 多模态模型，从 Qwen/Qwen3-Omni-30B-A3B-Instruct 后训练而来，把状态与类型化问题 schema 在单次前向中转为每个选项的概率，不做自由文本生成和输出解析。模型支持文本、JSON、图像、音频、视频输入，附联合 schema head 与 Jev/SystemOne 兼容 API，Apache-2.0 协议，bfloat16 下骨干约需 64 GB 显存。官方给出 Decision Index 0.2.1 内部跑分，如 BFCL 98.2、MMLU 92.7、GPQA Diamond 47.4，以及四条业务工作流的决策准确率。

    推荐理由：官方同时放出权重、加载代码和 Decision Index 0.2.1 逐项跑分，可对照 Clef 系列与 Jev 评估其决策型输出路线。

  14. Hugging Face · 趋势模型72

    Underdog 发布 Saluki 27B 量化版，7.89GB 跑通 Qwen3.8-27B 并保留工具调用

    Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0，基于 Qwen3.8-27B 的 GGUF 量化版，仅 7.89GB（全尺寸 54GB），可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120，超过全尺寸模型的 84；并行工具调用 42 对 35，9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%，弱点在字母级指令谜题，部分并行调用回复有小格式错误；可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力，Apache 2.0 许可。

    推荐理由：原文给出与全尺寸模型同 harness 的工具调用和基准对比数据，读者可以据此判断这个 8GB 量化版本到底保住了多少能力。

  15. Hugging Face · 新模型：abliterated45

    Huihui-Qwen3.8-Flash-Next-abliterated 推出 Orinfer E8P Q2A8 量化版，面向 Jetson AGX Orin 64GB 部署

    immiq 发布 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署包，专为 Jetson AGX Orin 64GB 设计，源模型通过 abliteration 减少拒答。模型支持文本、多图、thinking、prefix caching 和原生 MTP（最多 7 drafts），上下文容量 262,144 tokens，只读权重约 51.4 GB。在 Jetson AGX Orin 64GB 实测中，文本预填充 8,192 tokens 达 809 tokens/s，Python 代码生成解码速度 53.84 tokens/s，权重采用 Qwen Community License 1.0 许可。

  16. GitHub · 灵魂体仓库52

    OmniJev 开源多模态决策模型 OneJev，提供 0.8B 到 27B 四个尺寸

    OmniJev 发布 OneJev，一个多模态 System One 决策模型，可对截图、照片、视频和文本的类型化问题在单次前向中返回校准概率，提供 0.8B、4B、9B 和 27B 四个尺寸。模型基于 Qwen3.5 和 Qwen3.8 微调，支持 PyTorch、llama.cpp GGUF 和 Docker 部署，并开放 94,707 条训练数据及微调配置，采用 Apache 2.0 许可证。

  18. Hugging Face · 新模型：uncensored24

    mradermacher/Gemma-3-Uncensored_v2-merged-GGUF 模型在 Hugging Face 上发布

    mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型，提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器（含 Web UI），或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。

  20. Hugging Face · 新模型：uncensored56

    Venice.ai 联合 Dolphin 团队发布 venice-uncensored（Dolphin Mistral 24B）

    Venice.ai 与 Eric Hartford 及 Dolphin 团队合作发布基于 Mistral 24B 的 venice-uncensored 权重，定位为平台上无硬编码对齐的模型，对齐由用户系统提示词决定。模型卡保留 Mistral 默认 V7-Tekken 聊天模板，给出用于去审查的示例系统提示词，推荐 temperature=0.15，可用 vLLM（需 vllm>=0.6.4、mistral_common>=1.5.2）或 transformers 运行，全精度约需 60GB 以上显存。

    推荐理由：模型卡写明了依赖系统提示词设定对齐的思路和推荐采样参数，本地部署者可以据此直接上手。

  21. Hugging Face · 新模型：abliterated68

    Dankpaws 发布 Swift 1.5 Qwen3.8-27B Abliterated 的 EXL3 4.25bpw 量化版

    Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式，面向双 RTX 5060 Ti 16 GB 硬件，支持三路并发、每路 115,200 tokens 上下文，包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据，并明确说明未做额外微调或新的 abliteration，也未与 BF16 做成对评测；许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。

    推荐理由：原文给出了完整的量化参数、实测吞吐和内存数据，读者可以按自己的双卡配置复现这套 EXL3 本地部署。

  22. Hugging Face · 新模型：uncensored20

    Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本在 Hugging Face 上线

    onnx-community 发布 WithinUsAI/Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本，可通过 Transformers.js 的 text-generation 管线使用。该模型基于 google/gemma-3-270m-it，用 mergekit 以 SLERP 方法合并 4 个模型而成，是无审查的提示词扩展模型。其安全过滤被大幅削弱，可能生成敏感内容，官方建议仅用于研究或受控环境，不适合生产环境使用。

  23. Reddit · r/LocalLLaMA41

    网友制作 Qwen3.5 2B/4B/9B 的 MLX 4-bit 本地运行包（含 abliterated 版本）

    Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包，覆盖 2B、4B、9B 三个规模，各有原版和 Huihui abliterated 版本，均为去除视觉的纯文本模型，2B 版仅 1GB。模型已发布在 Hugging Face，作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。

  25. Hugging Face · 新模型：uncensored20

    minas2025/Granite-4.2-3B-Uncensored-Conversational 模型上线 Hugging Face，支持 llama.cpp、vLLM、Ollama 等本地部署

    Hugging Face 上线 minas2025/Granite-4.2-3B-Uncensored-Conversational 模型，提供 Q6_K 量化版本，可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具本地运行。模型支持 llama-server 启动 OpenAI 兼容 API，并可接入 Pi、Hermes Agent、OpenClaw 等 Agent 工具使用。

  26. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版，支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。

10月8日周四
  2. Reddit · r/LocalLLaMA29

    UkisAI 的 Swift 模型下载量突破 200 万，并为研究者提供免费算力

    UkisAI 宣布其开源推理高效模型系列 Swift 下载量突破 200 万。Swift 通过惩罚病态过度思考模式并配合 RL 训练，将 token 用量降低 58.3%、速度提升 x1.95 且不损失准确率。首批加入 Discord 社区的 100 人可抢先体验未发布的 Swift GLM 5.3 Flash、Swift 9B、UkisAI Code 及 Swift.cpp 推理引擎，团队同时推出面向研究者的免费算力、LLM API 与数据集支持计划。

  3. Hugging Face · 新模型：uncensored43

    Qwen-Image-2.1 Uncensored GGUF 量化版发布：支持 ComfyUI 本地图像生成

    用户 Kikik3636 基于 Qwen/Qwen-Image-2.1 上游原始权重发布 GGUF 量化版本，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档量化文件，体积从 4.15 GB 到 14.23 GB 不等，其中 Q4_K_M 被推荐为体积与质量的最佳平衡。该版本内置 ComfyUI 配套的 text encoder（qwen3vl_8b）与 VAE 文件，可在 ComfyUI 中通过 ComfyUI-GGUF 节点运行。此版本无内置安全检查器或内容过滤，可直接生成 NSFW 内容，采用 Qwen Research License 授权。

  4. Hugging Face · 新模型：uncensored56

    Qwen3.8-Flash-Next 的 MLX 量化包发布，4-bit 混合精度约 63 GB 可在 128 GB Mac 上运行

    作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包（4-bit experts、8-bit 其余），该模型为 Qwen4 preview 架构（model_type: qwen4_exp），全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP，共 180B（bf16 360 GB）。实测在 M4 Max 128 GB 上常驻约 67-69 GB，decode 29-34 tok/s，25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化，不占常驻显存；MTP 头可加载但当前比串行 decode 慢，默认关闭。

    推荐理由：作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据，读者可以据此评估这个 180B 模型能否在自己机器上跑。

  5. GitHub · 灵魂体仓库69

    AINode 开源决策模型 Jebadiah 系列，27B 五个零样本集宏观准确率 78.95

    AINode 开源了 System One 决策模型 Jebadiah，基于 Qwen3.5 和 Qwen3.8 做 LoRA 微调，从单个 label token 的 logits 直接输出校准概率而非生成文本，权重发布在 Hugging Face 的 frontier-infra 集合下。完整仓库包含训练器、数据构建器、评测器与每个 run 的结果记录，全部基于公开许可数据训练；27B 版在五个零样本集上宏观准确率 78.95，JevBench 公开项 0.866 与 Jev 1.13.0 持平，并提供 GGUF、MLX 量化与本地部署方案，代码采用 Apache License 2.0。

    推荐理由：原文完整公开了训练配方、消融记录与逐项评测数据，读者可以据此复现这个决策模型并判断各版本取舍。

  7. Reddit · r/LocalLLaMA55

    Neuphonic 开源 43 MB 语音转工具调用模型 NeuDecide，附 WASM 浏览器演示

    Neuphonic 团队以 Apache 2.0 协议开源 NeuDecide，该模型直接从音频和工具定义生成工具调用及参数，无需中间转写步骤，模型文件共 43 MB，可在单 CPU 线程推理。在 SLURP 工具任务（10 个工具）上达到 72.4% 工具准确率，约为 Nvidia Parakeet + Google FunctionGemma（24.4%）的 3 倍和 Cactus（Whistle + Needle，20.7%）的 3.5 倍；MacBook Pro M3 上 time to call 46 ms，Raspberry Pi 5 上 206 ms。

  10. Hugging Face · 新模型：uncensored18

    ogies99/Gemma-3-Uncensored_v2-gguf 发布

    基于 Gemma-3 4B it 微调的无审查模型 Gemma-3-Uncensored_v2-gguf 发布，用 Unsloth 微调并转换为 GGUF 格式，提供 gemma-3-4b-it.Q4_K_M.gguf 和 F16-mmproj 文件，可用 llama-cli 或 llama-mtmd-cli 运行。模型调整了 BOS token 以兼容 GGUF，训练速度提升 2 倍；Ollama 暂不支持单独的 mmproj 视觉文件，需通过 Modelfile 创建统一的 bf16 模型使用。

  11. Hugging Face · 新模型：abliterated31

    htdohk/Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 上架 Hugging Face

    abliterated 版 GGUF 模型 Huihui-Qwen3.8-Flash-Next-abliterated-MTP-GGUF 现已上架 Hugging Face，支持 image-text-to-text 多模态输入。页面给出 Transformers、llama.cpp（UD-Q4_K_XL 量化）、vLLM、SGLang、Ollama、Docker Model Runner 等多种本地运行与 OpenAI 兼容 API 部署方式，llama.cpp、Ollama 等均可直接拉取运行。

  12. Hugging Face · 新模型：abliterated20

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 模型的 GGUF 量化版本，包含 imatrix 量化及约 0.1GB 的 imatrix 文件供用户自行创建量化。静态量化版本另行提供，使用方法可参考 TheBloke 的 README 说明。作者感谢 nethype GmbH 提供服务器及 @nicoboss 提供私有超算支持。

  13. Hugging Face · 新模型：abliterated23

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 的 GGUF 静态量化版本，提供从 Q2_K 到 f16 共 12 种规格，体积介于 0.4-1.1 GB，其中 Q4_K_S/Q4_K_M 被标注为快速且推荐，Q8_0 为最佳质量。weighted/imatrix 量化暂不可用，用户可通过 Community Discussion 提出请求。

  14. Hugging Face · 新模型：abliterated28

    mradermacher 发布 Qwen3-06B-3MPER0RR-abliterated 静态 GGUF 量化版本

    mradermacher 在 Hugging Face 发布 Qwen3-06B-3MPER0RR-abliterated 模型的静态 GGUF 量化版本，提供从 Q2_K（0.4 GB）到 f16（1.3 GB）共 13 种量化类型。其中 Q4_K_S、Q4_K_M 标注为快速且推荐，Q6_K 质量很好，Q8_0 快速且质量最佳。加权/imatrix 量化版本可在其模型页面获取，使用方法可参考 TheBloke 的 README。