跳到正文
10月12日周一
  1. Hugging Face · 新模型:uncensored22

    bowmanslayer/VeriLoop-E2-Uncensored-GGUF 上架 Hugging Face,附 llama.cpp 等多平台部署指南

    bowmanslayer 在 Hugging Face 发布 VeriLoop-E2-Uncensored-GGUF 模型,提供 Q4_K_M 量化版本。模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具在本地运行,并支持 llama serve 启动 OpenAI 兼容 API 服务器,也可接入 Pi、Hermes、OpenClaw 等 Agent。

  2. Hugging Face · 新模型:abliterated25

    Lexum-J 发布 Qwen3.5-0.8B-Abliterated-V2 i1-GGUF 量化版本

    Lexum-J 在 Hugging Face 上发布 Qwen3.5-0.8B-Abliterated-V2 的 i1-GGUF imatrix 量化合集,提供从 i1-IQ1_S(0.4GB)到 i1-Q6_K(0.7GB)的多种量化文件。其中 i1-Q4_K_S 被标注为最优的尺寸/速度/质量平衡,i1-Q4_K_M 为推荐且快速的选项。同时提供 0.1GB 的 imatrix 文件供用户自行制作量化,静态量化版本另在独立仓库发布。

  3. Hugging Face · 新模型:uncensored27

    Zewsic 发布 diffusiongemma-26B-A4B-it-HERETIC-Uncensored-NVFP4 量化模型

    Zewsic 在 Hugging Face 发布 edwixx/diffusiongemma-26B-A4B-it-HERETIC-Uncensored 的 NVFP4 量化版本,基于 Heretic 修改后的专家权重而非原始 Google 模型。MoE 专家与 dense MLP 采用 NVFP4(W4A4、group size 16),注意力、embeddings、router、vision tower 等保留 BF16,校准使用 ultrachat_200k 的 128 个样本、截断至 2048 token。原生存储需 Blackwell 或更新 GPU,可通过 vLLM 部署,许可证为 Apache 2.0 加 Gemma 4 条款。

  4. Hugging Face · 新模型:uncensored17

    jirka642/Qwen3.8-27B-Uncensored-Heretic-Native-MTP-Preserved-exl3 量化模型发布

    Hugging Face 用户 jirka642 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic-Native-MTP-Preserved 的 EXL3 量化版本,基于 Qwen/Qwen3.8-27B 微调模型。量化使用 ExLlamaV3 1.6.1 转换,提供 4.0、5.0、6.0 bits per weight(MTP4,H6,V6)三种精度。由于原仓库缺少兼容的 preprocessor_config.json,作者改用了 Qwen/Qwen3.8-27B 官方仓库的配置文件。

  5. Hugging Face · 新模型:uncensored24

    xohaohe 发布 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored MLX 量化模型

    xohaohe(华哥)发布 27B 级 MLX 多模态混合精度量化模型 Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp,使用 oMLX 0.7.1 处理,开放下载。模型基于稠密 Qwen 架构,默认 4-bit affine(group size 64),保留视觉编码器与 1 层 MTP,上下文配置 262,144 tokens,4 个 Safetensors 分片共 17.94 GB。本量化版本测试成绩待补充,上游成绩不代表其实测表现。

  6. Hugging Face · 新模型:abliterated26

    Huihui-GLM-5.3-Flash-abliterated-GGUF 上架 Hugging Face

    Hugging Face 上发布了 robertbschuette/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,基于 GLM-5.3-Flash 的 abliterated 版本,提供 UD-Q4_K_XL 量化格式,支持图像-文本到文本的多模态输入。页面给出了用 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等工具加载和部署的完整方法,llama.cpp 路线可启动 OpenAI 兼容的本地服务器。

  7. Hugging Face · 新模型:uncensored73

    Qwen3.8-27B-Uncensored-Cyber 的 agentic imatrix IQ4_XS GGUF 量化发布

    balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化,用真实 agent 编码会话日志构建重要性矩阵,而非通用英文语料,保留 MTP 头与视觉塔。提供 IQ4_XS(含/不含 MTP,14.96/15.38 GiB)与校准矩阵文件,配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%,在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x,逐字抄写保真 7/7。该仓库只做量化,无微调或行为改动,上游为 philbert440 的 abliterated 去拒绝模型。

    推荐理由:作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据,做法可复现,对低比特量化部署有可迁移价值。

  8. Hugging Face · 新模型:uncensored42

    darask0 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 优化量化版

    darask0 在 Hugging Face 发布 GLM-5.3-Flash-Uncensored 的 IQ2/IQ3 混合量化版,基于 orcarouter 的 FP8 源模型转换,两个 GGUF 分片共 83.707 GiB。该版本保留全部 45 层文本主干和 42 个路由层中的 288 个专家,采用校准和 GPTQ 误差反馈,路由专家主要用 IQ2_XXS、重要下投影用 IQ3_XXS。在 RTX PRO 6000 96 GB 上实测 256 输入时 decode 91.0 tokens/s,需自建补丁版 Maya 运行时,与原版 llama.cpp、LM Studio、Ollama 的兼容性未经验证。

  9. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated-i1-GGUF 量化版上线 Hugging Face

    AI-conn 在 Hugging Face fork 了 huihui-ai 的 Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated,由 mradermacher 完成 GGUF 转换,基础模型为 Qwen3-Coder-30B-A3B-Instruct,采用 Apache-2.0 许可。该 MoE 模型总参数 30B、每 token 激活约 3B,但全部专家权重需常驻 VRAM;20 GB 显卡推荐 17.28 GiB 的 i1-Q4_K_M 文件。社区实测基础模型在 HumanEval Pro 得分 60.4%,目前尚无任何 abliterated 版本的独立编程评测。

  10. Hugging Face · 新模型:abliterated84

    Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

    shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

    推荐理由:原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

  11. Hugging Face · 新模型:uncensored18

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-oQ8e-mtp 量化版本发布(8-bit MLX)

    用户 Ecmcfee 于 2026-10-11 上传了 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-oQ8e-mtp 的量化版本,替换旧版本,此前下载过的用户需重新下载。该模型使用 oQ(oMLX v0.7.1.dev1)混合精度量化,为 qwen3_5 架构,8-bit、group size 64,格式为 MLX safetensors。

  12. Hugging Face · 新模型:uncensored27

    Swift-1.5-Qwen3.8-27B-Uncensored ninfer3090 转换版本在 Hugging Face 上架

    wacomctl672 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-ninfer3090,这是基于 d0xin abliterated 检查点、面向 ninfer-3090 转换的量化产物,并集成了 z-lab/Qwen3.8-27B-DFlash2。基座为 Alibaba Cloud 的 Qwen3.8-27B(Apache 2.0),指令微调来自 UkisAI 的 Swift-1.5-Qwen3.8-27b。Swift Open License v1.0 规定年营收低于 $1,000,000 USD 的实体可免费商用,超过需与 UkisAI 达成商业协议。

10月11日周日
  1. Hugging Face · 新模型:abliterated25

    Ideogram 4 Qwen3-VL 文本编码器 abliterated 单文件合并版发布

    SizorCloud 发布 Ideogram 4 所用 Qwen3-VL 文本编码器(abliterated)的单文件合并版,将 noelthekke 原仓库的 4 个分片 safetensors 合并为一个 qwen3vl_text_encoder_abliterated.safetensors(398 个张量,BF16,约 15 GB)。合并仅是格式重打包,未改动任何权重或量化。该文件供 sd-webui-forge-classic 2.30 等 UI 在 Text Encoder 下拉框中加载,配合 Flux2 系 VAE 使用 Ideogram4 预设。

  2. Reddit · r/LocalLLaMA67

    27B 级三值权重模型登陆 llama.cpp,约 5.9 GB 即可在本地跑推理

    一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本,语言模型约 5.9 GB,比 FP16 小约 9.3 倍,保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78,明显高于 IQ2_XXS 的 72.59,接近体积大三倍的 UD-Q4_K_XL;Apple M5 Max 笔记本上约 47 tok/s,支持 262K token 上下文,提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。

  3. Reddit · r/LocalLLaMA52

    Microsoft 开源 AesCode 8B 与 32B,用 HTML/CSS 生成幻灯片、海报和仪表盘

    Microsoft 发布 AesCode 8B 与 32B 开放权重模型,以 HTML/CSS 生成信息丰富的幻灯片、海报和仪表盘等可视化产物。模型用同一提示词生成的图像作美学参考,同时按提示词保证内容,通过图结构监督和解耦跨模态奖励将语义要求与视觉线索分离;AesCode-32B 从 Qwen3-VL-32B-Instruct 出发,经冷启动 SFT 与七通道奖励的 GDPO 训练,在聚合基准上领先,权重和 GGUF 版本已上架 Hugging Face。

  4. Reddit · r/LocalLLaMA38

    网友从零训练 102M 递归 BitNet-v2 模型:64K 上下文,仅用不到 5B tokens

    Reddit r/LocalLLaMA 用户从零训练并开源了 Recursive BitNet N-Gram 102M 模型,结合三值权重、共享 Transformer 层和哈希 n-gram 嵌入,训练总成本约 100 欧元,处理不到 5B tokens,支持 65,536-token 上下文。模型含 102.28M 独特参数,六个 Transformer 块共享权重运行两次;lm-eval zero-shot 基准平均分 40.59%,ARC-Easy 为 40.11%。权重、推理代码和评测结果已在 Hugging Face 发布,含 409.14MB FP32 主权重和 124.24MB 打包导出。

  5. Hugging Face · 趋势模型56

    OpenMOSS 发布 MOSS-Image-SFT 文生图模型

    OpenMOSS 发布 MOSS-Image 系列的监督微调文生图模型 MOSS-Image-SFT,由 MOSS-Image-Base 微调而来,示例显示 SFT 版文本分组更清晰、白板排版更有序。模型支持自然语言提示词、标签序列和 JSON Layout 控制文字位置与物体排布,权重与推理代码以 Apache 2.0 许可开源,VAE 采用 FLUX.2 small decoder,并提供 ComfyUI 插件和 Prompt Enhancer skill。

    推荐理由:官方给出了从 Base 到 SFT 的同图对比和完整推理配置,读者可以直接复现文本排版更整齐的文生图效果。

  6. Hugging Face · 新模型:abliterated27

    hotdogs/jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 上架 Hugging Face,附 llama.cpp 等多种本地运行指南

    hotdogs 发布 jev-Ternary-Bonsai-2-27B-Abliterated-PTQ1_0 的 TQ1_0 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理,也支持 Ollama、Docker Model Runner、LM Studio、Jan 等多种工具,并可在 Pi、Hermes Agent、OpenClaw 等 Agent 中配置调用。

  7. Hugging Face · 趋势模型57

    OpenMOSS 发布 MOSS-Image-Base 文生图基座模型

    OpenMOSS 在 Hugging Face 发布 MOSS-Image 系列的基座文生图模型 MOSS-Image-Base,支持自然语言提示词、标签序列和 JSON Layout 控制文字与物体排布,权重和推理代码以 Apache 2.0 许可开放。正文给出 diffusers 快速上手代码(transformer 与文本编码器用 bfloat16,VAE 用 float32,捆绑 FLUX.2 small 解码器的 VAE)、默认采样设置(Flow-matching Euler、50 步、CFG 3、负分支跳过第 22 层),并对比了 Base 与 SFT 版本在同一示例上的文字分组与白板排版差异;另提供 ComfyUI 原生插件和面向 agent 的提示词增强 skill。

    推荐理由:原文给出了完整的推理代码、采样参数和 Layout JSON 格式,读者可以直接在本地复现这个文生图基座模型的用法。

  8. Hugging Face · 新模型:uncensored22

    mradermacher/JEV-27B-VL-Uncensored-GGUF 模型发布于 Hugging Face

    Hugging Face 上线 mradermacher/JEV-27B-VL-Uncensored-GGUF 模型页面,提供 Q4_K_M 量化版本。页面给出在 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade、Pi、Hermes Agent、OpenClaw 等工具中运行该模型的安装与推理命令。用户可通过 `llama serve -hf` 或 `ollama run hf.co/mradermacher/JEV-27B-VL-Uncensored-GGUF:Q4_K_M` 等命令在本地启动 OpenAI 兼容服务器或直接推理。

  9. Hugging Face · 新模型:uncensored60

    ayngepaw 发布 GLM-5.3-UNCENSORED 的 EXL3 3.0bpw 量化版

    ayngepaw 在 Hugging Face 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本,平均比特率 3.04 bpw,体积 273 GiB,含 MTP 层可作投机草稿模型。与 FP8 源对比 wikitext-2 困惑度为 3.440 对 3.302;tau2-bench 上与原版 GLM-5.3 FP8 差异不具统计显著性。作者提醒 TabbyAPI 的 glm4_5 解析器会把字符串参数误解码为整数,导致约 70% 工具调用失败,评测时已修复该问题。

  10. Reddit · r/LocalLLaMA32

    将稠密模型转换为 MoE:Qwen2.5-0.5B 与 SmolLM2-360M 的转换实验

    Reddit r/LocalLLaMA 用户 Bayliner1980 将 Qwen2.5-0.5B 和 SmolLM2-360M 两个稠密模型转换为稀疏 Mixture-of-Experts 模型,无需从头预训练,转换结果已发布在 HuggingFace。两个 MoE 模型均含 32 个专家、top-8 路由加共享专家,每 token 的 MLP 计算量约为原来的 40% 和 44%,但在 WikiText-2/C4 困惑度和五项评测的平均准确率上均低于原始稠密模型。作者在 RTX 4060 (8gb) 上完成实验,后续计划转换更大的模型并测试更细的专家布局。

  11. Hugging Face · 新模型:uncensored25

    mradermacher/JEV-27B-Uncensored-GGUF 上架 Hugging Face,支持 llama.cpp、Ollama、Docker 等多种本地运行方式

    mradermacher 在 Hugging Face 发布 JEV-27B-Uncensored-GGUF 量化模型,提供 Q4_K_S 等格式。该模型可通过 llama.cpp 的 OpenAI 兼容本地服务器或终端直接推理运行,并支持 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Hermes Agent、OpenClaw、Lemonade 等多种本地部署工具,覆盖 macOS、Windows、Linux 平台。

  12. Hugging Face · 新模型:uncensored19

    Tree-AI-lab 发布 Qwen2.5-Coder-1.5B-Instruct 无审查 GGUF 版本,面向 Android 本地部署

    Tree-AI-lab 在 Hugging Face 上发布了基于 Qwen2.5-Coder-1.5B-Instruct 的无审查(uncensored) coder GGUF 量化模型。该模型提供 Q4_K_M 量化版本,可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具在本地运行,并支持以 OpenAI 兼容服务器方式部署。

  13. Hugging Face · 趋势模型45

    AutoTrust 发布 JEV-35B-NVFP4:10,240 个路由专家量化至 NVFP4,权重体积降 65%

    AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版,将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式,其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB,vLLM 显存占用 23.3 GiB(−65%),单张 32-48 GB GPU 即可部署;文本 Decision Index 59.75 对比 bf16 的 59.18,五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B,与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联,可通过 vLLM 直接加载。

  14. Hugging Face · 新模型:uncensored19

    Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 推出 MLX 版本

    DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP 模型现提供 MLX 优化版本,用于 Apple Silicon 推理。该版本由 Q8_0 GGUF(30.24 GB)转换而来,866 个张量全部反量化为 float16(约 55 GB,12 个分片),质量与原 GGUF 权重一致、无精度损失。架构为 Qwen3.5 dense(65 层、5120 hidden、24 heads、248320 vocab),采用 Apache-2.0 许可证。

  15. Hugging Face · 新模型:uncensored16

    13432ad2/Noct-Q-Uncensored-Qwen-Image-2.1 模型使用指南

    Hugging Face 上线的 Noct-Q-Uncensored-Qwen-Image-2.1 是一个基于 Qwen-Image 的去审查扩散图像模型。该页面提供 Diffusion Single File 库、Google Colab 和 Kaggle 等 notebooks 及本地应用的接入说明,部分代码示例尚未就绪,欢迎社区提交 PR 补充。

  16. Hugging Face · 新模型:uncensored28

    ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 发布 AutoRound W4A16 量化版本

    Kre80r 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-Uncensored-Heretic 的 AutoRound W4A16 量化版,采用对称 4-bit 权重、group size 128,体积从 54.7 GB 降至 18.7 GB,上下文长度 262,144 保持不变。量化在 2x RTX 3090 上约 8 小时完成,已在 vLLM 0.29.0 中通过加载和文本、图像、工具调用冒烟测试,但未做质量评测。该模型经 Heretic 去审查处理、安全对齐大幅削弱,仅限研究与实验用途,许可为 PolyForm Small Business 1.0。

  17. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  18. Reddit · r/LocalLLaMA43

    48GB 显存兼顾速度与质量:Qwen 3.8 27B Swift 1.5 W8A16 量化版实测

    一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版(8 bit AWQ + GPTQ,W8A16)可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行,解码速度接近 100 tok/s,开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考,是他认为 48GB VRAM 下的最佳折中方案。

  19. Hugging Face · 新模型:uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

    推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

  20. Hugging Face · 新模型:abliterated25

    Holo4-27B-abliterated EXL3 6bpw 量化版本发布

    Hugging Face 用户发布基于 Hcompany/Holo4-27B 的 abliterated 版本的 EXL3 量化模型,目标 6 bpw,转换器报告码率为 6.0,并移除了悬空的 MTP 配置。该模型源自 timteh673/Abliterix 制作的 refusal-direction ablation 版本,采用 CC BY-NC 4.0 仅限非商业使用,同时附带原始 Qwen 基座的 Apache-2.0 许可。发布前已通过 EXL3 加载生成非空文本的冒烟验证,但不包含任何 benchmark 分数,需使用 EXL3 兼容推理软件。