跳到正文
10月17日周六
  1. Hugging Face · 新模型:uncensored25

    webmp3 发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored GGUF 模型

    webmp3 在 Hugging Face 上发布 Sakura-Nemotron-3.5-Bolt-74B-A9B-24GB-Uncensored 的 GGUF 版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等工具运行,支持启动 OpenAI 兼容本地服务器或在终端直接推理,也可在 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等客户端中使用。

  2. arXiv · cs.CL53

    Muse Glimmer 30B 端侧智能体模型论文发布,Apache 2.0 开源

    论文介绍 Muse Glimmer,一个面向消费级硬件上自主智能体任务的开源 30B 因果语言模型,集多步推理、工具调用与失败恢复于一体,支持文本与图像输入,训练数据覆盖一百多种语言,量化至约 4-bit 可单 GPU 本地推理。作者称其在工具调用、多步规划和智能体任务完成上优于同尺寸的 Gemma4-31B 与 Qwen3.6-27B,模型以 Apache 2.0 许可发布。

    推荐理由:论文给出30B级端侧Agent模型在同尺寸模型上的基准对比,对关注本地部署智能体的人有参考价值。

  3. Hugging Face · 趋势模型65

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,在推理、编码、Agent 任务和视觉基准上大幅提升,同时缩短任务执行时间和输出长度,推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3(上一版 31.2),Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板,改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包,支持 1M tokens 上下文窗口、max_tokens ≥ 256K,推荐 temperature 1.0、top_p 1.0,采用 MIT 许可证。

    推荐理由:技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据,并附推荐采样参数与推理工具链,方便本地复现。

  4. Hugging Face · 趋势模型69

    MiniMax 发布 MiniMax-M3.1-Flash:原生多模态 MoE 模型,1M tokens 上下文

    MiniMax 发布 MiniMax-M3.1-Flash,一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型,总参数约 428B、每 token 激活 23B,支持文本、图像、视频输入,上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练,以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。

    推荐理由:官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比,并说明评测设置,读者可据此自行评估实际水平。

  5. Hugging Face · 新模型:abliterated18

    mradermacher 发布 Vietnamese-4B-Chat-abliterated 的 i1-GGUF 量化版本

    mradermacher 在 Hugging Face 上发布 Vietnamese-4B-Chat-abliterated 的 imatrix 加权 GGUF 量化版本,提供从 i1-IQ1_S(1.5GB)到 i1-Q6_K(3.6GB)的多种量化文件,其中 Q4_K_M 被标注为快速且推荐,Q4_K_S 为大小/速度/质量最优。该模型为视觉模型,mmproj 文件放在静态仓库中,静态量化版本另行提供。

  6. Hugging Face · 新模型:abliterated22

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 模型使用指南

    mradermacher/Vietnamese-4B-Chat-abliterated-GGUF 是一个 abliterated 版本的越南语 4B Chat 模型 GGUF 量化仓库,提供 Q4_K_M 等量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 上运行,支持启动 OpenAI 兼容的本地服务器或终端直接推理,也可通过 Ollama、Docker Model Runner、LM Studio、Jan 等工具加载,并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  7. Hugging Face · 新模型:abliterated20

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF 去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术移除拒绝行为,发布去审查的 GGUF 版本 v2。相比第一版调整了消融重点,且未对专家(experts)进行消融,适合小说写作和编程。该版本安全过滤大幅降低,建议用于研究、测试或受控环境,支持最新 llama.cpp,示例命令上下文长度为 262144。

  8. Hugging Face · 新模型:uncensored28

    VicTeam Agency 发布 Qwen3.8-27B-Uncensored GGUF 量化版

    VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B(Apache 2.0)发布去审查版 GGUF 模型,采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化,面向单显卡本地智能体开发。提供 Q4_K_XL(约 17.4 GB,质量优先)和 IQ4_XS(约 14.4 GB,可完整装入 16 GB 显存、速度更快)两种量化,可通过 llama.cpp(llama-server --jinja)和 llama-swap 运行。

  9. Hugging Face · 新模型:uncensored18

    FrosT-LyRo 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 i1-GGUF 量化版本

    FrosT-LyRo 在 Hugging Face 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-IQ1_S(8.8 GB)到 i1-Q6_K(32.2 GB)的多档量化文件,其中 Q4_K_S 被标注为大小、速度与质量的最优平衡,Q4_K_M 为推荐选项。该模型为视觉模型,mmproj 文件放在单独的 static 仓库中,静态量化版本另行提供。

  10. Hugging Face · 趋势模型69

    NVIDIA 发布循环架构模型 Dory1.0-4B,可调循环数换推理精度

    NVIDIA 在 Hugging Face 发布 4B 参数的循环(latent-recurrent)模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,采用 normalized-GPT 架构,通过重复应用共享 Recurrent 块(8 层输入、20 层循环、8 层输出)让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环,无需重训即可权衡算力与精度,官方推荐默认 2 循环,并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。

    推荐理由:同一个 checkpoint 可调循环次数换精度,作者还给出各 loop 数的实测对比与 KV cache 省显存方案,适合关注小模型推理成本的人。

  11. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

10月16日周五
  1. arXiv · cs.CL39

    分析 LLM 训练全流程中的职业性别偏见:以 OLMo 3 为例

    一项研究通过让全开源模型家族 OLMo 3 的各后训练 checkpoint 生成职业叙事,追踪性别偏见的演变。结果显示:性别明确给出时,后训练主要提升男性画像叙事的语义多样性,女性画像在 SFT 后提升较小、经 DPO 和 RLVR 后不再显著;模型自行推断性别时则呈现女性偏向,且每个后训练阶段都单调增加女性标签概率,但 SFT 语料仅 7.7% 的女性 token 过剩,不足以解释该效应。

  2. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B TURBO 微调版发布 GGUF 权重,ARC-C 达 735 并大幅压缩思考 token

    TTPPCC121 等多人协作发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。模型用 Heretic v1.2.0+ARA 方法去对齐,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535;思考 token 减至原版的 1/2 到 1/10。提供常规与 MTP 两种 GGUF,Q4_K_S 下常规约 75 t/s、MTP 可超 90 t/s(5090、LMStudio 实测),支持 256k 上下文与视觉(需另下 mmproj 文件)。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  3. Hugging Face Blog75

    Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供推理与训练全流程支持

    Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源,为 501B 参数 MoE(每 token 激活 23B),支持 1M token 上下文,采用 Apache 2.0 许可,主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点,transformers、vLLM、SGLang 均已 day-0 支持,并附 LoRA SFT 与 Miles GRPO 训练配方;Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。

    推荐理由:官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方,便于评估上手成本。

  4. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud,限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布,Ollama 作为 day-zero 合作伙伴限时免费提供,Beam 端点全程零数据保留(ZDR)。Beam 是 MoE 模型,总参数约501B、每 token 激活23B,上下文窗口100万 token,采用 Apache 2.0 许可,面向软件工程、推理和长程 Agent 任务,可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由:官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表,读者可直接比较 Beam 在各编码基准上的位置。

  5. Hugging Face · 新模型:abliterated24

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 韩语校准 3.7bpw GGUF 量化版发布

    donghanasd 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的韩语校准混合精度 GGUF,约 12.60 GB、3.69 bits per parameter,从上游 BF16 GGUF 直接量化。量化使用 708 个 512 token 块收集的 importance matrix,张量精度分配沿用 Qwen3.8-27B-Ridge-GGUF,保留 tokenizer、chat template 和 MTP tensors,未做韩语额外训练也未验证韩语质量提升。

  6. Hugging Face · 趋势模型50

    MOSS-Image-SFT 8 步 data-space DMD 蒸馏版上线 Hugging Face

    OpenMOSS 团队将 MOSS-Image-SFT(50 步、CFG 3)蒸馏为 8 步无 CFG 的生成模型,采用 data-space DMD 方法,checkpoint 为 update 2600(EMA)float32 权重。模型提供 lora.safetensors(推荐强度 1)与 lora_latest.safetensors(推荐强度 0.7)可直接加载到 ComfyUI LoRA loader,transformer 必须以 fp32 运行,蒸馏 delta 小于 bf16 舍入步长,转 bf16 会丢失大部分蒸馏效果。当前为进行中的工作。

  7. Hugging Face · 趋势模型50

    OrcaCyber Nano 1.0:27B 本地离线防御安全模型发布 GGUF 权重

    Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0,主打防御安全场景,以 GGUF 格式开源,可在本地硬件离线运行,支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens,内置 MTP 投机解码并支持 DFlash2 draft 文件,主权重 15.70 GB,另有适配 16 GB 显卡的 12.99 GB 版本;基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%,可直接在 llama.cpp 中加载。

  8. Hugging Face · 新模型:uncensored18

    bappi/gemma-4-E2B-uncensored-coder-fable5-composer2.5 模型上线 Hugging Face

    多模态模型 bappi/gemma-4-E2B-uncensored-coder-fable5-composer2.5 在 Hugging Face 发布,支持 image-text-to-text 任务,可通过 Transformers 的 pipeline 或 AutoModelForMultimodalLM 加载。模型同时提供 vLLM、SGLang 部署方式及 OpenAI 兼容 API,并可用 Docker Model Runner 运行。