跳到正文
10月18日周日
  1. Hugging Face · 新模型:uncensored60

    sky3c 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版,ARC-C 达 735

    sky3c 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,用 Heretic v1.2.0 的 ARA 方法去审查,8 bit 拒绝率从 99/100 降到 0/100,KL 散度 0.0535。模型将思考 token 减至原版的 1/2 到 1/10,8 bit ARC-C 735、ARC-E 882,4 bit ARC-C 719,作者称在全部 7 项基准上超过原版 Qwen3.8-27B。提供常规与 MTP 两种 GGUF 量化,Q4_K_S 下常规版约 75 t/s、MTP 版可超 90 t/s(5090 实测),支持 256k 上下文与视觉(需另下 mmproj 文件),工具调用建议 Q4_K_M 以上量化。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  2. Hugging Face · 新模型:abliterated38

    Xing4.0-29B-A4B APEX-I-MiniPlus-V2.1 Abliterated GGUF 量化发布

    Hugging Face 上发布 Xing4.0-29B-A4B 的 Abliterated 版 GGUF 量化,基于 huihui-ai/Huihui-Xing4.0-29B-A4B-abliterated,采用逐 tensor 混合精度布局,文件 13.76 GB(3.42 BPW),WikiText-2 PPL 7.7238,较 BF16 源(7.3060)仅上升 5.71%,达 Q5_K_M 级质量。该模型为 29B 总参数、每 token 约 4B 激活的 MoE 架构,含 mHC、MLA 与 MTP,原生 256K 上下文,可扩展至 512K,适合消费级 GPU 与 RAM/GPU 混合部署。

10月17日周六
  1. Hugging Face · 新模型:abliterated36

    humanizer-abliterated 11.96B 模型的 FP8-DYNAMIC 量化版发布

    moeshawky 发布 distributedcognition/humanizer-abliterated(11.96B 参数,Gemma4UnifiedForConditionalGeneration 架构)的 FP8-DYNAMIC 量化版,体积 13.02 GB,为 BF16 原版的 54.4%,仅对 328 个语言模型 linear 层做 E4M3 权重与动态激活量化,嵌入、lm_head 及视觉/音频模块保持 BF16。该版本经结构验证可运行,可在 vLLM、SGLang 或 Transformers 中直接加载,但未做 benchmark,无 perplexity 或吞吐数据。许可证为 apache-2.0,需遵守上游基础模型的附加条款。

  2. Hugging Face · 新模型:abliterated34

    humanizer-abliterated INT8 W8A8 量化版发布:11.96B 模型体积降至 BF16 的 54%

    moeshawky 发布 distributedcognition/humanizer-abliterated 的 INT8 W8A8 动态量化版,基于 llmcompressor 对 11.96B 参数模型中的 328 个语言模型线性层做 8-bit 量化,体积从 23.92 GB 降至 13.02 GB(54.4%),embedding 与 lm_head 保持 BF16。实测 INT8 权重 SNR 约 39.9 dB,logits 分布与 BF16 源一致;未做 MMLU 重评与吞吐测试。模型可直接在 vLLM、SGLang 或 Transformers 中加载,采用 apache-2.0 许可。

  3. Hugging Face · 新模型:abliterated33

    Hemmingway-1-27B-abliterated FP8-DYNAMIC 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 FP8-DYNAMIC 8-bit 量化版,基于 27.32B 参数的 BF16 原模型,体积从 54.64 GB 降至 30.30 GB(55.5%)。仅量化语言模型解码器内 496 个 linear 层权重(F8_E4M3、per-channel 对称),激活为 per-token 动态量化,lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 FP8 权重 SNR 约 31.6 dB,可在 vLLM、SGLang 或 Transformers 直接加载,未做 benchmark。

  4. Hugging Face · 新模型:abliterated28

    Hemmingway-1-27B-abliterated 的 INT8 W8A8 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版,基于 27.32B 参数的 BF16 原模型,体积从 54.64 GB 降至 30.30 GB(55.5%),仅量化语言模型解码器中的 496 个 linear 层,lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB,logits 分布接近原模型;可直接在 vLLM、SGLang 或 Transformers 中加载,尚未做 benchmark、吞吐或消融鲁棒性测试,许可证为 apache-2.0。

  5. Reddit · r/LocalLLaMA53

    NVIDIA 发布 Nemotron-Labs-Dory1.0-4B-BF16 循环架构小模型

    NVIDIA 在 Hugging Face 上发布 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,总参数 4B,采用 looped(latent-recurrent)normalized-GPT 架构,混合交错滑动窗口注意力(SWA)与全注意力层,通过重复应用共享层块为每个 token 花费更多计算以提升智能。上下文长度最高 256K tokens,精度 BF16,支持英语,采用 OpenMDW License 1.1,可商用或非商用,发布日期为 2026 年 10 月 16 日。

  6. Hugging Face · 新模型:abliterated20

    Sindexter/qwen2.5-7b-abliterated-gguf 模型在 Hugging Face 上提供 llama.cpp 等多种本地运行方式

    Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面,提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理,也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行,并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。

  7. Hugging Face · 新模型:uncensored26

    Baekpica 发布 GLM-5.3-Flash-Uncensored VQ GGUF 量化转换(转换进行中)

    Baekpica 正在将 abliterated 版 GLM-5.3-Flash-Uncensored-FP8 转换为实验性 GVQ1/GGUF v3 格式(Q4_K nonexpert v3),权重上传前仓库暂不可加载。转换复用 GLM-5.3-Flash-VQ-GGUF 的结构:36,288 个路由专家矩阵用八维 VQ(K8192,每权重 1.625 index bits),316 个非专家矩阵用 Q4_K,面向 DGX Spark (GB10) 服务。模型经 abliteration 移除了安全对齐,采用 MIT 许可,仅声明研究用途。

  8. Hugging Face · 新模型:uncensored25

    webmp3 发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored GGUF 模型

    webmp3 在 Hugging Face 上发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored 的 GGUF 版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理,也可在 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等客户端中使用。

  9. arXiv · cs.CL53

    Muse Glimmer 30B 端侧智能体模型论文发布,Apache 2.0 开源

    论文介绍 Muse Glimmer,一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型,集多步推理、工具调用与失败恢复于一体,支持文本与图像输入,训练数据覆盖一百多种语言,量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B,模型以 Apache 2.0 许可发布。

    推荐理由:论文给出30B级端侧Agent模型在同尺寸模型上的基准对比,对关注本地部署智能体的人有参考价值。

  10. Hugging Face · 趋势模型65

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。

    推荐理由:技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据,并附推荐采样参数与推理工具链,方便本地复现。

  11. Hugging Face · 趋势模型69

    MiniMax 发布 MiniMax-M3.1-Flash:原生多模态 MoE 模型,1M tokens 上下文

    MiniMax 发布 MiniMax-M3.1-Flash,一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型,总参数约 428B、每 token 激活 23B,支持文本、图像、视频输入,上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练,以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。

    推荐理由:官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比,并说明评测设置,读者可据此自行评估实际水平。

  12. Hugging Face · 新模型:abliterated18

    mradermacher 发布 Vietnamese-4B-Chat-abliterated 的 i1-GGUF 量化版本

    mradermacher 在 Hugging Face 上发布 Vietnamese-4B-Chat-abliterated 的 imatrix 加权 GGUF 量化版本,提供从 i1-IQ1_S(1.5GB)到 i1-Q6_K(3.6GB)的多种量化文件,其中 Q4_K_M 被标注为快速且推荐,Q4_K_S 为大小/速度/质量最优。该模型为视觉模型,mmproj 文件放在静态仓库中,静态量化版本另行提供。

  13. Hugging Face · 新模型:abliterated22

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 模型使用指南

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 是一个 abliterated 版本的越南语 4B Chat 模型 GGUF 量化仓库,提供 Q4_K_M 等量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 上运行,支持启动 OpenAI 兼容的本地服务器或终端直接推理,也可通过 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  14. Hugging Face · 新模型:abliterated20

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF 去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术移除拒绝行为,发布去审查的 GGUF 版本 v2。相比第一版调整了消融重点,且未对专家(experts)进行消融,适合小说写作和编程。该版本安全过滤大幅降低,建议用于研究、测试或受控环境,支持最新 llama.cpp,示例命令上下文长度为 262144。

  15. Hugging Face · 新模型:uncensored28

    VicTeam Agency 发布 Qwen3.8-27B-Uncensored GGUF 量化版

    VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B(Apache 2.0)发布去审查版 GGUF 模型,采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化,面向单显卡本地智能体开发。提供 Q4_K_XL(约 17.4 GB,质量优先)和 IQ4_XS(约 14.4 GB,可完整装入 16 GB 显存、速度更快)两种量化,可通过 llama.cpp(llama-server --jinja)和 llama-swap 运行。

  16. Hugging Face · 新模型:uncensored18

    FrosT-LyRo 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 i1-GGUF 量化版本

    FrosT-LyRo 在 Hugging Face 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-IQ1_S(8.8 GB)到 i1-Q6_K(32.2 GB)的多档量化文件,其中 Q4_K_S 被标注为大小、速度与质量的最优平衡,Q4_K_M 为推荐选项。该模型为视觉模型,mmproj 文件放在单独的 static 仓库中,静态量化版本另行提供。