跳到正文
#Hugging Face
10月20日周二
  1. Hugging Face · 趋势模型53

    lodestones 发布 Kromoss：MOSS-Image-Base 的 1024px 全参微调，附 8 步 DMD turbo LoRA

    lodestones 在 Hugging Face 发布 Kromoss，是对 MOSS-Image-Base 的全参微调（1024 px，704k 训练图，发布 EMA 权重），架构与 MOSS-Image-SFT 相同、可直接替换，主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors（8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA）、int8 ConvRot 量化单文件（5.4 GB）、ComfyUI 原生支持与转换脚本，权重采用 Apache 2.0 许可。PartiPrompts（100 提示词，CLIP ViT-L/14）显示 Kromoss + LoRA 得分 27.82，高于 MOSS-Image-Base 的 27.19。

    推荐理由：这是官方模型卡，给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字，便于直接上手和评估效果。

  3. Hugging Face · 新模型：uncensored74

    DeepSeek-V4.1-Flash GSQ 混合量化无审查版发布，单张 RTX 4090 可跑 552B MoE

    开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版（163 GB，152 GiB 专家权重），基于 dealignai 的 abliterated 无拒绝行为检查点，需搭配自研 Xolotl 引擎在 RTX 4090（24 GB）加 90 GB 内存加 NVMe 的单机上运行，512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层，总位宽与均匀 2.25-bit 持平，校准代理上输出误差比均匀 Q2_0 低 17%；实测 prefill 约 250 tok/s，DSpark 解码 17-30 tok/s，HumanEval 21/21、工具调用 10/10。

    同一新闻，精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布，单张 RTX 4090 可跑 552B MoE》

  5. Hugging Face · 新模型：abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。

  6. Hugging Face · 新模型：abliterated33

    Huihui-Qwen3-VL-4B-Instruct-abliterated 模型发布

    huihui-ai 基于 Qwen/Qwen3-VL-4B-Instruct 通过 abliteration 技术发布去审查版本 Huihui-Qwen3-VL-4B-Instruct-abliterated，仅处理文本部分、不改动图像部分，模型不再回复“无法描述或分析此图像”。该模型已可在 Ollama v0.12.7 及以上版本中以 huihui_ai/qwen3-vl-abliterated:4b-instruct 直接运行，官方建议用于研究或受控环境，避免直接用于生产场景。

  7. Hugging Face · 新模型：abliterated18

    mradermacher 发布 flux-3-image-klein-prompt-upsampler abliterated 版 GGUF 模型

    mradermacher 在 Hugging Face 上发布 flux-3-image-klein-prompt-upsampler 的 abliterated GGUF 版本，提供 F16 量化。该模型可通过 llama.cpp 在本地运行，支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理，也可用 Ollama、Docker Model Runner、Lemonade 等工具加载。

  10. Hugging Face · 新模型：uncensored32

    mradermacher 发布 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic 的 GGUF 量化版本，示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行，支持 llama-server 启动 OpenAI 兼容服务器和 llama-cli 直接推理，也可用 Ollama、Docker Model Runner、Lemonade 等工具加载，并可接入 Pi、Hermes、OpenClaw 等智能体工具。

  11. Hugging Face · 新模型：uncensored42

    neko-legends 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-UNCENSORED-4xSpark 去审查量化包

    neko-legends 发布 DeepSeek-V4.1-Flash-1017 的 3.5 bpw EXL3 去审查量化包，对 54 个 abliterated 矩阵以 K=6 重新编码，编辑保留率 mean 0.9992，量化误差比 2.9 bpw 包低约 40%。在 4× DGX Spark 上 MMLU-500 chat 达 81.0%、HumanEval-164 pass@1 达 93.29%，但每 rank 需 67.3 GiB 内存，prefill 吞吐比 2.9 bpw 包低 76%，官方建议四卡环境仍用 2.9 bpw 包。

  12. Hugging Face · 新模型：uncensored68

    DeepSeek-V4.1-Flash-1017 无对齐版发布，附 4× DGX Spark 部署与评测数据

    neko-legends 发布 DeepSeek-V4.1-Flash-1017 的无对齐 EXL3 2.9bpw 打包，基于 dealignai 的 abliterated 版本，将 54 个稠密 BF16 矩阵重编码为 EXL3 trellis 以适配 TensorFold Zig TP4 引擎，可在 4× NVIDIA DGX Spark 上运行。评测显示去对齐代价集中在道德判断，moral_scenarios 从 95.5% 降至 40.9%，而 HumanEval chat 成绩 92.68% 反高于官方版；另提供 3.5bpw 兄弟版本，moral_scenarios 略高但解码慢约 10%。

    推荐理由：原文给出 MMLU 与 HumanEval 的前后对照，显示去对齐的代价集中在道德判断而非知识或编码能力。

  14. Hugging Face · 趋势模型69

    Recursive 发布 MoE 编码智能体模型 Flint，unsloth 上线 GGUF 量化版

    Recursive 发布了面向编码智能体的 MoE 语言模型 Flint，总参数 39.8B、每 token 激活约 2.5B，在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层（2 稠密 + 47 MoE）、262,144 token 上下文，以 Apache 2.0 许可发布，附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本，unsloth 提供 GGUF 格式和运行指南。

    推荐理由：官方模型卡给出了架构细节、评测设置和基准分数来源标注，读者可以据此了解这款小激活参数编码智能体模型的实际规格。

  16. Hugging Face · 新模型：uncensored27

    Qwen3.8-27B-Uncensored-MLX-6-bit 模型发布

    Hugging Face 上发布 bi0h4z4rd88/Qwen3.8-27B-Uncensored-MLX-6-bit，一个基于 Qwen3.8 的 27B 6-bit MLX 量化无审查模型，支持图像输入。页面给出 mlx-vlm 加载与生成示例，并说明可通过 mlx_lm.server 启动本地 OpenAI 兼容服务器，接入 Pi、Hermes Agent 和 OpenClaw 等工具。

  17. Hugging Face · 新模型：uncensored58

    Qwen3.5-9B 微调去对齐版 The-Defiant-Fable 发布，附 GGUF 量化与拒绝率数据

    DavidAU 与 Nightmedia 发布基于 Qwen3.5-9B 的多阶段微调合并去对齐模型 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic，提供 16bit 源权重及 NEO IMATRIX 常规与 MTP GGUF 量化。作者称该模型在 7 项基准上超过 Qwen3.5-9B 与 Qwen3.5-27B，ARC-C 达 0.649（bf16）；去对齐方面 KL 散度 0.0793，100 次请求中拒绝 6 次（原模型 100 次），支持 256k 上下文与视觉（需另下 mmproj 文件），MTP 量化在 5090 上 Q4_K_S 可超 185 t/s。

    推荐理由：作者给出 KL 散度和 100 次请求中 6 次拒绝的实测数据，可对照原模型判断去对齐程度。

  18. Reddit · r/LocalLLaMA49

    migtissera 发布 Tess-4.5-27B：基于 Qwen 的微调模型，token 用量减少 25%

    migtissera（Synthia 作者）发布基于 Qwen 微调的 Tess-4.5-27B，在 150 个 BenchLocal 场景中比基座 Qwen3.8-27B 少生成 25% 的 token 而得分相同。其中 CLI-40 少用 32% token 且得分更高，数据提取少用 43%，BugFind-15 少用 21%。更少 token 意味着更快出答案、上下文窗口占用更少，在本地 GPU 上还可与 draft head 叠加提速。

  19. Hugging Face · 新模型：uncensored47

    NeosQ 发布 Qwen3.8-Flash-Next-Uncensored 的 MTPLX 优化速度量化版

    NeosQ 基于 OrcaRouter 去审查的 Qwen3.8-Flash-Next（125B-A6B MoE）BF16 权重，用 MTPLX Forge 按 flash-next-optimized-speed 配方制作 4-bit 量化版，总大小 115.3 GB，保留原生 MTP 投机解码头。在 M5 Max 128 GB 上 MTP 投机解码达 85.7 tok/s，为普通解码的 2.07 倍；需 Apple Silicon、macOS 14+ 及 96–128 GB 统一内存，支持 OpenAI/Anthropic 兼容 API，采用 Apache 2.0 许可证。

  21. Hugging Face · 新模型：uncensored48

    DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型基准测试数据发布

    Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 的性能测试数据，对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在 1-32 并发下的 chat 吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second，为各配置中最高；EXL3 3.5 在 32 并发时为 480.84 tokens/second。

  22. Hugging Face · 新模型：uncensored21

    Gravelrat 发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF 量化模型

    Gravelrat 在 Hugging Face 上发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF，为 8B 参数、IQ4_NL 量化的 GGUF 无审查模型。页面给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种运行方式，其中 llama.cpp、Ollama、Docker 等可直接以 IQ4_NL 量化版本拉取运行，vLLM 与 SGLang 均支持 OpenAI 兼容 API 调用。

  24. Hugging Face · 新模型：uncensored44

    Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布

    HauhauCS 在 Hugging Face 发布基于 Qwen3.6-35B-A3B 的去审查版模型 Aggressive 变体，0/465 拒答，不改动数据集与能力。该模型为 MoE 架构，总参数 35B、每 token 激活约 3B，原生 262K 上下文，支持文本、图像、视频多模态。提供 Q8_K_P 到 IQ2_M 多种 GGUF 量化（K_P 量化以约 5-15% 更大体积提升 1-2 级质量），兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  28. Hugging Face Blog57

    Hugging Face 发布 TorchNeuron：Transformers 等库原生支持 AWS Trainium

    Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端，自 2026 年 10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。

    推荐理由：官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本，便于评估是否迁移到 Trainium。

  30. Hugging Face · 新模型：abliterated24

    Huihui-Qwen3.8-27B Swift-1.5 Abliterated IQ3_S + DFlash2 NInfer v3 社区转换版发布

    SPK1337 在 Hugging Face 发布 Huihui-Qwen3.8-27B 的 NInfer v3 社区转换版，打包 abliterated Swift-1.5 GSQ-RCO IQ3_S 文本权重（含 MTP）、z-lab 的 DFlash2 draft adapter 和 Qwen3.8-27B vision projector，文件约 13.99 GiB，采用 Apache-2.0 许可。该 artifact 仅供 NInfer-all 运行时加载，不能通过 transformers.AutoModel 直接读取；本地验证 HTTP 端点可正常返回文本，但 DFlash2 接受率、tokens/second 等尚未 benchmark。

  31. Hugging Face · 新模型：uncensored67

    dealignai 发布 DeepSeek-V4.1-Flash-1017 无对齐 EXL3 3.5bpw 版本

    dealignai 基于 LibertAI 的 EXL3 3.5bpw 量化包（257.6 GB）发布 DeepSeek-V4.1-Flash-1017 无对齐版本，移除拒绝行为，支持 6 种语言、131K 上下文，保留视觉权重、MTP 头与 n-gram 表。实测 HarmBench-320 在 chat 与 thinking 模式均 320/320 全部 COMPLY，MMLU-500 从 67.60% 降至 64.80%（-2.80 pp）。在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 55 tok/s 解码，并建议如需更低比特应重新跑 abliteration 流程而非直接重量化。

    推荐理由：原文给出 MMLU 与 HarmBench 的前后对照数据，读者可以据此评估这个去对齐版本在拒绝率与能力之间的取舍。

  35. Reddit · r/LocalLLaMA62

    Blockway 自研 Agens Engine 让 32B 模型在 16 GB 显存预算内跑 262K 上下文

    香港小团队 Blockway 发布自研推理引擎 Agens Engine（MIT 协议）和 Volundr 32B 模型权重，72 层中 54 层用固定大小状态替代随 token 增长的 KV cache，长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒，后续提问 0.5 秒内回答，GPU 显存峰值约 15.6 GiB；社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎：https://github.com/BlockWayz/agens-engine

    推荐理由：香港小团队公开自研推理引擎的实测数据与设计取舍，长会话显存占用和后续提问延迟都有具体数字可查。

  36. Hugging Face · 新模型：abliterated38

    Qwen3.8-27B-abliterated GGUF 量化版本发布

    douyamv 发布 abliterated（去审查）版 Qwen3.8-27B 的 GGUF 量化版本，提供 Q8_0 到 Q2_K 共 6 档，大小约 7.9 GB 至 28 GB，适用于 llama.cpp、Ollama、LM Studio 等 GGUF 兼容引擎。该模型通过在所有层投影去除 refusal direction 实现无限制对话，基座为 27.78B 参数、上下文 262,144 tokens（可扩展至 1M+），采用 Apache 2.0 许可。

  37. Hugging Face · 新模型：uncensored36

    Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化档位。该版本无内置安全检查器，可直接生成成人及 NSFW 内容，需配合 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器 qwen3vl_8b 可卸载至系统内存以节省 9–17 GB 显存。

10月19日周一
  1. Hugging Face · 新模型：uncensored54

    MiMo-V2.6-Pro 无对齐版量化权重发布，适配 Maya 引擎本地部署

    nofacedfl 发布基于 Xiaomi 约 1 万亿参数 MiMo-V2.6-Pro 的 abliterated "heretic" 基座的约 2-bit 量化版（300 GB，GGUF 分片），适配 Maya 引擎并带独立视觉塔，MIT 许可。实测在 5× RTX 4090 48 GB + 2× A100 40 GB 上代码生成 71–75 tok/s、200K 上下文 38–40 tok/s，支持 512K 上下文与约 1.6 秒的图像输入；abliterated 基座在该量化下 40 道 JailbreakBench 请求仍拒答 24 题，运行时拒绝向量可将拒答降到 1–5/40 但会增加编造答案，暂未随包发布。

    推荐理由：原文给出拒绝率实测数据，abliterated 基座经量化后 40 题仍拒答 24 题，读者可据此判断去对齐的实际程度。

  2. Reddit · r/LocalLLaMA54

    inclusionAI 发布 Ming-3.0-audio-flash：126B MoE 音频理解与语音输出模型，MIT 协议

    inclusionAI 在 Hugging Face 上发布 Ming-3.0-audio-flash，总参数 126B、激活 6.5B 的 MoE 模型，可接收音频加文本指令并返回文本或语音回复，MIT 协议。模型卡列出转写、口语问答、长录音理解及对语音、环境声和音乐的推理能力，中英文为主并声称支持口音、方言和嘈杂录音；语音输出依赖可选的 Talker，可用内置音色或参考音频。本地部署文档给出 Transformers、SGLang 和 vLLM-Omni 路径，其中 SGLang 文本输出验证配置用四张 GPU，vLLM-Omni 128K 参考配置用八张 80GB H800，均为参考配置而非最低要求。

  3. Hugging Face · 新模型：uncensored71

    botp 发布 Qwen3.8-Flash-Next 去审查方向文件 china-v1

    botp 发布 china-v1 审查方向文件，推理时在第 4 到 44 层投影掉该方向分量，使 Qwen3.8-Flash-Next 不再对中国敏感话题拒答或用宣传口径，原权重不变、可按请求开关。192 题评测中敏感话题拒答/回避率从 58% 降到 2%，校准回答从 11% 升到 56%；质量对照显示 Agentic 任务 34/34 持平，HumanEval+ 156 对 155、GSM8K 50 对 49、MMLU 96 对 97。方向由 30 组中英对照对比对的残差流均值差构造，已在 Strata 生产环境验证，llama.cpp 原生 --control-vector 是加法而非投影、不能复现结果；作者提示 1989 年六四短问题仍可能回避，法轮功、大饥荒和新疆的数字细节可能夸大。

    同一新闻，精选展示《Qwen3.8-Flash-Next 发布 china-v1 审查方向文件，推理时去除中国政治审查》