跳到正文
今天10月27日周二8 条
  1. Hugging Face · 新模型:uncensored16

    DeepSeek-V4-Flash-Vision-Uncensored exl3 2.5bpw 量化版(52B 参数)上线 Hugging Face

    Hugging Face 上架了 avar6 发布的 DeepSeek-V4-Flash-Vision-Uncensored 的 exl3 2.5bpw 量化版本,模型大小为 52B 参数,支持 BF16、F16、I16、F32、I64 等张量类型,以 Safetensors 格式提供。该模型目前没有模型卡,也未部署到任何 Inference Provider,需自行下载使用。

  2. Reddit · r/LocalLLaMA33

    4B 编程模型更新:Qwen3.5-4B 微调版生成 3D 场景能力持续提升

    一名开发者正在训练用于通用编程的 Qwen3.5-4B 微调模型,以 Three.js 场景生成作为主要测试,新 checkpoint 在场景质量和一次生成成功率上明显提升。已更新 Q4_K_M 和 Q8_0 量化版本并修复此前文件的 layer 问题。训练预计于 10 月 28 日 07:30 UTC 结束,届时将发布 FP16 全量权重、全部量化版本、训练数据集和技术报告。

  3. Hugging Face · 新模型:uncensored34

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 用户 thomasdaniel87 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 4.00 GB(MLX 4-bit)到 14.23 GB(BF16)不等,推荐 GGUF 使用 Q4_K_M(4.60 GB)。该版本无内置安全检查器,可直接生成 NSFW 内容,需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器和 VAE 使用,MLX 格式针对 Apple Silicon 优化。

  4. Hugging Face · 新模型:uncensored25

    slip618 发布 Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF 模型

    slip618 在 Hugging Face 发布 Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF 模型,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具本地运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理。

  5. Hugging Face · 新模型:abliterated26

    Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-i1-GGUF 上架 Hugging Face

    Kirill777Vais 发布的 Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-Heretic-Abliterated-i1-GGUF 模型现已在 Hugging Face 开源。该模型提供 Q4_K_M 量化版本,可通过 Transformers、llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等多种工具加载运行,llama.cpp 还支持启动 OpenAI 兼容的本地服务器。

10月26日周一
  1. Hugging Face · 新模型:uncensored24

    tinyopsec 发布 MiniCPM5-2B-Abliterated-Uncensored 的 GGUF 量化版本

    tinyopsec 基于 openbmb/MiniCPM5-2B(Llama 架构,约 2.5B 参数,经 abliterated 去审查处理)制作并发布 GGUF 量化文件,采用 llama.cpp 生成,提供从 F16(5.0 GB)到 Q2_K 共 13 种量化档位,其中 Q4_K_M(4-bit medium)为推荐版本。模型可通过 llama.cpp 及 Ollama、LM Studio 等 GGUF 兼容运行时使用,以 Apache License 2.0 授权。

  2. Hugging Face · 新模型:uncensored23

    DeepSeek-V4-Flash-Vision-Uncensored 的 EXL3 4 bpw 量化版发布

    Hugging Face 上发布 orcarouter/DeepSeek-V4-Flash-Vision-Uncensored 的 EXL3 4 bpw 量化版,共 23 个 safetensors 分片、约 146 GB,实测码率 4.04 bpw,针对 TabbyAPI / exllamav3 与 CPU MoE offload 调优。在 56 GB VRAM(2 GPU)上验证,cpu_moe_split_experts: 192、cache_size: 131072,生成速度约 23 tok/s,文本与视觉均已通过 chat_template.jinja 基础模板验证。

  3. Hugging Face · 新模型:abliterated26

    Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布

    Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S,这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版,面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准,并保留 MTP 头以支持投机解码;上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可,最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果,最终张量清单与质量保留情况尚待验证。

  4. Hugging Face · 新模型:uncensored36

    Ornith-1.5-122B-UNCENSORED NVFP4 版本发布,可单卡 RTX 5090 运行 Infernix 格式

    dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出,这是去 refusals 版本的量化模型,基于 Qwen3.5-122B-A10B 架构(48 层、256 个路由专家每层取 top 8),附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配,可在单张 RTX 5090(32 GB)上运行,约需 70 GiB 主机内存和 76 GB 磁盘空间,速度仍待优化测定。

  5. Hugging Face · 新模型:uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored(320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文)的 imatrix GGUF 量化,含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档,并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040(OrcaRouter FP8 为 0.120,base 为 0.930),HumanEval pass@1 0.927;作者指出空输出会计为服从,提醒评测时必须同时报告空输出数,文件已适配 mainline llama.cpp 与 LM Studio 模板。

  6. Hugging Face · 新模型:uncensored18

    MishraNepali/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF_Q2_K 模型上线 Hugging Face

    MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本,可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行,并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。

  7. Hugging Face · 新模型:abliterated26

    Qwen2.5-7B-Instruct-abliterated-64k 发布:元数据修复版 GGUF

    R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k,这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版,非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据(factor 2.0),以满足 Hermes Agent 64,000 token 最低上下文要求,权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝,Q4_K_M 版本 4.68 GB。

  8. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  9. Hugging Face · 新模型:uncensored48

    Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布

    Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包,基于 360 GB BF16 源检查点,专家投影采用 affine 2-bit/group128,其余投影为 8-bit/group64,文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试(15/18 通过)及文本生成约 23.5 tokens/s 的计时结果;模型采用原生 qwen4_exp 多模态实现,可配合 run_qwen38_unsloth.py 以 16384 上下文运行。

10月25日周日
  1. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。

  2. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

  3. Hugging Face · 新模型:uncensored49

    Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版

    Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。

  4. Hugging Face · 新模型:abliterated25

    mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated GGUF 量化模型

    Hugging Face 用户提供 mradermacher/Ornith1.0-9B-3MPER0RR-abliterated-GGUF 模型(Q4_K_S 量化版),可在 llama.cpp、Ollama、Docker Model Runner 等多种本地工具中运行。文档给出 macOS、Linux、Windows 各平台的安装与启动命令,支持通过 llama serve 启动 OpenAI 兼容本地服务器或直接在终端推理,还覆盖 LM Studio、Pi、Hermes Agent、OpenClaw 等客户端配置方法。