跳到正文
10月25日周日
  1. Hugging Face · 新模型:uncensored35

    Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布

    abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版,面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16,GSQ 依 Hessian 灵敏度校准优化每层精度,推荐 IQ3_M(2.28 GB)。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存,支持 llama.cpp 与 Ollama,采用 Apache-2.0 许可。

  2. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

10月24日周六
  1. Hugging Face · 新模型:abliterated40

    huihui-ai 发布 Huihui-gemma-4-31B-it-abliterated-v2

    huihui-ai 发布 google/gemma-4-31B-it 的去审查版本 Huihui-gemma-4-31B-it-abliterated-v2,通过 abliteration 技术移除模型拒答行为,且前 5 层未做处理以减少警告和拒绝。该版本 PPL 为 13161.2940,低于原版的 14874.7532 和上一版 abliterated 的 13335.5546。模型可通过最新版 ollama 以 huihui_ai/gemma-4-abliterated:31b-v2 直接运行,官方建议用于研究测试而非生产环境。

10月23日周五
  1. Hugging Face · 新模型:uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布,适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本,采用 RCO 保留全部 48 个关键 SSM 参数为 BF16,并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件,推荐 IQ3_M(3.75 bpw、4.20 GB)。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文,遵循 Apache-2.0 License。

10月22日周四
10月20日周二
  1. arXiv · cs.AI62

    arXiv 论文实证研究越狱评测:ASR 随判定方法从 96.0% 变为 2.7%

    arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。

    推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。

  2. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama,本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议开源,支持文本、JSON 与图像输入,可一次读取输入并同时对所有问题的答案打分,兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index,在 Jev benchmark 套件多数项目上超过 Jev,例如 BFCL case exact 98.47 对 95.75;43 个评测的延迟中位数为 209.3ms(Clef-flash 为 38.8ms)。

    推荐理由:官方发布了多模态决策模型 Clef 的完整基准与延迟数据,读者可以直接对比它和 Jev 等模型在各场景的实际表现。

10月16日周五
  1. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud,限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布,Ollama 作为 day-zero 合作伙伴限时免费提供,Beam 端点全程零数据保留(ZDR)。Beam 是 MoE 模型,总参数约501B、每 token 激活23B,上下文窗口100万 token,采用 Apache 2.0 许可,面向软件工程、推理和长程 Agent 任务,可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由:官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表,读者可直接比较 Beam 在各编码基准上的位置。

10月13日周二
  1. Hugging Face · 新模型:abliterated24

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 上架 Hugging Face,附 llama.cpp 等多平台使用指南

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 模型已在 Hugging Face 发布,默认量化版本为 Q2_0。文档给出 llama.cpp 的 macOS、Linux、Windows 安装方式及本地 OpenAI 兼容服务器启动命令,并说明在 Ollama、Docker Model Runner、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中加载该模型的具体配置步骤。

10月10日周六
  1. Hugging Face · 新模型:uncensored31

    mradermacher/Pyrz-8B-Instruct-Uncensored-i1-GGUF 发布

    mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型,默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行,支持启动 OpenAI 兼容服务器或终端推理,也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用,并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。

10月9日周五
  1. Hugging Face · 新模型:abliterated41

    Huihui-Qwen3.8-27B-abliterated GGUF 量化版本更新

    Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型,多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列,其中部分版本仅消融第 22 至 52 层(0 起始索引)。模型提供 Q2_K_L 至 Q8_0_L 等量化格式,支持上下文长度 262144,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行。官方提示安全过滤已显著降低,建议仅用于研究和测试环境。

  2. Hugging Face · 新模型:abliterated47

    Huihui-Qwen3.8-27B-abliterated GGUF 版本发布

    huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF,MTP 与视觉部分未修改。多个系列(UD、GSQ-RCO、UD-DW、Ternary、Swift)仅对第 22-52 层(0 起始索引)做 abliteration,其余层保留原样;Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低,仅建议用于研究与测试,可在最新版 ollama 和 llama.cpp 中运行。

10月8日周四
  1. Hugging Face · 新模型:abliterated28

    abliterated 模型 k8scert/Qwen3.8-27B-ABLITERATED-Q8_0 上架 Hugging Face

    用户 k8scert 在 Hugging Face 发布 abliterated 版模型 Qwen3.8-27B-ABLITERATED-Q8_0,采用 Q8_0 量化。页面给出通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行该模型的命令,并附 Pi、Hermes Agent、OpenClaw 等接入本地 llama.cpp 服务器的配置示例。

10月7日周三
10月6日周二
10月5日周一
  1. Hugging Face · 新模型:uncensored43

    HauhauCS Qwen3.8-27B-Uncensored 发布 imatrix 优化的 NVFP4 量化版本

    HauhauCS 发布 Qwen3.8-27B-Uncensored-Aggressive 的 imatrix 优化 NVFP4 量化版本(Q5_NVFP4),体积从 Q5_K_P 源文件的 18.83 GiB(5.92 BPW)降至 14.74 GiB(4.63 BPW),约缩小 22%。该版本保留了原生 MTP/NextN 头、视觉能力和完整 Aggressive 去审查配置,LM head(output.weight)首次做了 imatrix 优化。模型针对 Blackwell(sm_120)GPU 原生加速构建,但文件为标准 GGUF,可在任意当前 llama.cpp 版本上加载。

10月4日周日
  1. Hugging Face · 新模型:abliterated31

    AX1Y2JP/UniPercept-abliterated-GGUF 模型上线 Hugging Face

    Hugging Face 新增模型 AX1Y2JP/UniPercept-abliterated-GGUF,提供 Q4_K_M 量化版本。该 GGUF 格式模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行,也支持在 LM Studio、Jan 中加载。llama.cpp 可启动 OpenAI 兼容的本地服务器并提供 Web UI,也可直接在终端执行推理。

9月29日周二
  1. Ollama Blog64

    Ollama 0.35 支持 Jev 风格决策模型,新增 nimble 与 tev1 等 3 个模型

    Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持,通过 /v1/systemone 端点在本地一次请求回答多个命名问题,适用于工单分诊、模型路由和内容审核等快速决策场景。

    推荐理由:官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法,读者可以直接照着在本地跑起来。

8月31日周一
  1. Ollama Blog52

    Ollama 推出按 token 计费的透明定价,Pro $20/月含 $60 用量

    Ollama 宣布 Pro、Max、Team 订阅改为透明按 token 计费,每月附带用量池:Pro $20/月含 $60 用量,Max $100/月含 $300,Team $500/月含 $1000 共享用量、不限席位数。

    推荐理由:官方公布了各档订阅价与含额明细,并解释了从 GPU 时长计费转向按 token 计费的原因,老用户可留在原计划。

8月25日周二
  1. Ollama Blog63

    Ollama 支持 Claude Desktop 接入本地与云端模型

    Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置,可选用 Ollama 内本地或云端模型,关闭后恢复原设置;默认关闭遥测并执行零数据保留政策,也可在设置中配置本地模型。

    推荐理由:官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法,便于按需切换云端与本地模型。

8月11日周二
  1. Ollama Blog66

    NVIDIA Nemotron 3.5 Lightning 开放模型登陆 Ollama,可完全本地运行

    NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构,面向长时运行的 Agent 任务,支持最高 1M token 上下文,通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐,任务完成时间快 30%。

    推荐理由:原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据,读者可据此评估其本地 Agent 部署价值。

8月10日周一
  1. Ollama Blog75

    Meta Superintelligence Labs 首个开放模型 Muse Glimmer 上架 Ollama

    Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型,专为本地运行的 Agent 工作负载构建,支持 128K+ 上下文,采用 Apache 2.0 许可证。

    推荐理由:官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法,可直接照做。

7月9日周四
  1. Ollama Blog72

    Ollama 宣布融资 8800 万美元,8.9 百万开发者在用

    Ollama 宣布获得 8800 万美元融资,投资方包括 Benchmark 的 Peter Fenton、Theory Ventures 的 Tomasz Tunguz、8VC 的 Alex Kolicich、Docker 创始人 Solomon Hykes 及 Y Combinator 等。

    推荐理由:官方融资公告披露了投资方名单、金额和 Ollama 的用户规模数据,可了解这家开源模型平台下一步的混合推理方向。

6月29日周一
6月11日周四
  1. Ollama Blog71

    Ollama 更新 MLX 引擎,Apple Silicon 性能提升并支持 NVFP4 量化

    Ollama 更新其 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,支持 NVIDIA 的 NVFP4 量化格式:在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半,输出速度在 8,300-token 输入下快约 20%。

    推荐理由:官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式,数据与方法都可直接参考。