跳到正文
只看开源模型
10月18日周日
  2. Hugging Face · 新模型：uncensored60

    sky3c 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版，ARC-C 达 735

    sky3c 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本，用 Heretic v1.2.0 的 ARA 方法去审查，8 bit 拒绝率从 99/100 降到 0/100，KL 散度 0.0535。模型将思考 token 减至原版的 1/2 到 1/10，8 bit ARC-C 735、ARC-E 882，4 bit ARC-C 719，作者称在全部 7 项基准上超过原版 Qwen3.8-27B。提供常规与 MTP 两种 GGUF 量化，Q4_K_S 下常规版约 75 t/s、MTP 版可超 90 t/s（5090 实测），支持 256k 上下文与视觉（需另下 mmproj 文件），工具调用建议 Q4_K_M 以上量化。

    同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》

  3. Hugging Face · 新模型：abliterated38

    Xing4.0-29B-A4B APEX-I-MiniPlus-V2.1 Abliterated GGUF 量化发布

    Hugging Face 上发布 Xing4.0-29B-A4B 的 Abliterated 版 GGUF 量化，基于 huihui-ai/Huihui-Xing4.0-29B-A4B-abliterated，采用逐 tensor 混合精度布局，文件 13.76 GB（3.42 BPW），WikiText-2 PPL 7.7238，较 BF16 源（7.3060）仅上升 5.71%，达 Q5_K_M 级质量。该模型为 29B 总参数、每 token 约 4B 激活的 MoE 架构，含 mHC、MLA 与 MTP，原生 256K 上下文，可扩展至 512K，适合消费级 GPU 与 RAM/GPU 混合部署。

10月17日周六
  1. Hugging Face · 新模型：abliterated36

    humanizer-abliterated 11.96B 模型的 FP8-DYNAMIC 量化版发布

    moeshawky 发布 distributedcognition/humanizer-abliterated（11.96B 参数，Gemma4UnifiedForConditionalGeneration 架构）的 FP8-DYNAMIC 量化版，体积 13.02 GB，为 BF16 原版的 54.4%，仅对 328 个语言模型 linear 层做 E4M3 权重与动态激活量化，嵌入、lm_head 及视觉/音频模块保持 BF16。该版本经结构验证可运行，可在 vLLM、SGLang 或 Transformers 中直接加载，但未做 benchmark，无 perplexity 或吞吐数据。许可证为 apache-2.0，需遵守上游基础模型的附加条款。

  2. Hugging Face · 新模型：abliterated34

    humanizer-abliterated INT8 W8A8 量化版发布：11.96B 模型体积降至 BF16 的 54%

    moeshawky 发布 distributedcognition/humanizer-abliterated 的 INT8 W8A8 动态量化版，基于 llmcompressor 对 11.96B 参数模型中的 328 个语言模型线性层做 8-bit 量化，体积从 23.92 GB 降至 13.02 GB（54.4%），embedding 与 lm_head 保持 BF16。实测 INT8 权重 SNR 约 39.9 dB，logits 分布与 BF16 源一致；未做 MMLU 重评与吞吐测试。模型可直接在 vLLM、SGLang 或 Transformers 中加载，采用 apache-2.0 许可。

  3. Hugging Face · 新模型：abliterated33

    Hemmingway-1-27B-abliterated FP8-DYNAMIC 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 FP8-DYNAMIC 8-bit 量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%）。仅量化语言模型解码器内 496 个 linear 层权重（F8_E4M3、per-channel 对称），激活为 per-token 动态量化，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 FP8 权重 SNR 约 31.6 dB，可在 vLLM、SGLang 或 Transformers 直接加载，未做 benchmark。

  4. Hugging Face · 新模型：abliterated28

    Hemmingway-1-27B-abliterated 的 INT8 W8A8 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%），仅量化语言模型解码器中的 496 个 linear 层，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB，logits 分布接近原模型；可直接在 vLLM、SGLang 或 Transformers 中加载，尚未做 benchmark、吞吐或消融鲁棒性测试，许可证为 apache-2.0。

  5. Reddit · r/LocalLLaMA53

    NVIDIA 发布 Nemotron-Labs-Dory1.0-4B-BF16 循环架构小模型

    NVIDIA 在 Hugging Face 上发布 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，总参数 4B，采用 looped（latent-recurrent）normalized-GPT 架构，混合交错滑动窗口注意力（SWA）与全注意力层，通过重复应用共享层块为每个 token 花费更多计算以提升智能。上下文长度最高 256K tokens，精度 BF16，支持英语，采用 OpenMDW License 1.1，可商用或非商用，发布日期为 2026 年 10 月 16 日。

  6. Hugging Face · 新模型：abliterated20

    Sindexter/qwen2.5-7b-abliterated-gguf 模型在 Hugging Face 上提供 llama.cpp 等多种本地运行方式

    Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面，提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。

  7. Hugging Face · 新模型：uncensored26

    Baekpica 发布 GLM-5.3-Flash-Uncensored VQ GGUF 量化转换（转换进行中）

    Baekpica 正在将 abliterated 版 GLM-5.3-Flash-Uncensored-FP8 转换为实验性 GVQ1/GGUF v3 格式（Q4_K nonexpert v3），权重上传前仓库暂不可加载。转换复用 GLM-5.3-Flash-VQ-GGUF 的结构：36,288 个路由专家矩阵用八维 VQ（K8192，每权重 1.625 index bits），316 个非专家矩阵用 Q4_K，面向 DGX Spark (GB10) 服务。模型经 abliteration 移除了安全对齐，采用 MIT 许可，仅声明研究用途。

  8. Hugging Face · 新模型：uncensored25

    webmp3 发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored GGUF 模型

    webmp3 在 Hugging Face 上发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored 的 GGUF 版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具运行，支持启动 OpenAI 兼容本地服务器或在终端直接推理，也可在 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等客户端中使用。

  10. arXiv · cs.CL53

    Muse Glimmer 30B 端侧智能体模型论文发布，Apache 2.0 开源

    论文介绍 Muse Glimmer，一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型，集多步推理、工具调用与失败恢复于一体，支持文本与图像输入，训练数据覆盖一百多种语言，量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B，模型以 Apache 2.0 许可发布。

    推荐理由：论文给出30B级端侧Agent模型在同尺寸模型上的基准对比，对关注本地部署智能体的人有参考价值。

  13. Hugging Face · 趋势模型65

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017，是 DeepSeek-V4.1-Flash 的小版本更新，在推理、编码、Agent 任务和视觉基准上大幅提升，同时缩短任务执行时间和输出长度，推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3（上一版 31.2），Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板，改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包，支持 1M tokens 上下文窗口、max_tokens ≥ 256K，推荐 temperature 1.0、top_p 1.0，采用 MIT 许可证。

    推荐理由：技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据，并附推荐采样参数与推理工具链，方便本地复现。

  14. Hugging Face · 趋势模型69

    MiniMax 发布 MiniMax-M3.1-Flash：原生多模态 MoE 模型，1M tokens 上下文

    MiniMax 发布 MiniMax-M3.1-Flash，一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型，总参数约 428B、每 token 激活 23B，支持文本、图像、视频输入，上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练，以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。

    推荐理由：官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比，并说明评测设置，读者可据此自行评估实际水平。

  15. Hugging Face · 新模型：abliterated18

    mradermacher 发布 Vietnamese-4B-Chat-abliterated 的 i1-GGUF 量化版本

    mradermacher 在 Hugging Face 上发布 Vietnamese-4B-Chat-abliterated 的 imatrix 加权 GGUF 量化版本，提供从 i1-IQ1_S（1.5GB）到 i1-Q6_K（3.6GB）的多种量化文件，其中 Q4_K_M 被标注为快速且推荐，Q4_K_S 为大小/速度/质量最优。该模型为视觉模型，mmproj 文件放在静态仓库中，静态量化版本另行提供。

  17. Hugging Face · 新模型：abliterated22

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 模型使用指南

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 是一个 abliterated 版本的越南语 4B Chat 模型 GGUF 量化仓库，提供 Q4_K_M 等量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 上运行，支持启动 OpenAI 兼容的本地服务器或终端直接推理，也可通过 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载，并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  30. Hugging Face · 新模型：uncensored28

    VicTeam Agency 发布 Qwen3.8-27B-Uncensored GGUF 量化版

    VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B（Apache 2.0）发布去审查版 GGUF 模型，采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化，面向单显卡本地智能体开发。提供 Q4_K_XL（约 17.4 GB，质量优先）和 IQ4_XS（约 14.4 GB，可完整装入 16 GB 显存、速度更快）两种量化，可通过 llama.cpp（llama-server --jinja）和 llama-swap 运行。

  34. Hugging Face · 新模型：uncensored18

    FrosT-LyRo 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 i1-GGUF 量化版本

    FrosT-LyRo 在 Hugging Face 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 imatrix 加权 i1-GGUF 量化版本，提供从 i1-IQ1_S（8.8 GB）到 i1-Q6_K（32.2 GB）的多档量化文件，其中 Q4_K_S 被标注为大小、速度与质量的最优平衡，Q4_K_M 为推荐选项。该模型为视觉模型，mmproj 文件放在单独的 static 仓库中，静态量化版本另行提供。

  35. Hugging Face · 趋势模型69

    NVIDIA 发布循环架构模型 Dory1.0-4B，可调循环数换推理精度

    NVIDIA 在 Hugging Face 发布 4B 参数的循环（latent-recurrent）模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，采用 normalized-GPT 架构，通过重复应用共享 Recurrent 块（8 层输入、20 层循环、8 层输出）让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环，无需重训即可权衡算力与精度，官方推荐默认 2 循环，并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。

    推荐理由：同一个 checkpoint 可调循环次数换精度，作者还给出各 loop 数的实测对比与 KV cache 省显存方案，适合关注小模型推理成本的人。