跳到正文
  1. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

  1. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

  1. Hugging Face Blog59

    Hugging Face 博客预览 VocabX 方法:按成本而非频率特化词表,将葡语作文批改器推理成本降低 77%

    Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果:按每个 token 的成本而非频率重建词表,在不改基座模型、数据和训练配方的前提下,将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token,bench 分数从 0.703 升到 0.810,LM head 从约 152,000 行缩到约 65,000 行;在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中,压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。

    推荐理由:作者用同一基座、同一训练配方做对照实验,把成本按读写分别计价,方法思路可迁移到其他单一领域的专用模型。

  1. Hugging Face Blog59

    Hugging Face 推出 TorchTPU 原生支持,Transformers 与 Diffusers 可直接运行在 TPU 上

    Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上,用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持,batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×;transformers 测试套件在 TPU 上 96.5% 通过,已报告 34 个问题并修复 19 个。

    推荐理由:官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法,还附带 kernel 加速倍数和 CI 通过率等实测数据。

  2. Hugging Face Blog58

    Hugging Face 发布 AnyLanguageModel 1.0,一年来本地模型接入 Apple 平台的成果

    Hugging Face 发布 AnyLanguageModel 1.0,它是 Apple Foundation Models 框架的 drop-in 替代,可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成,托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点;同日发布 swift-huggingface 1.0 与 swift-xet 1.0,并可运行于 Linux。

    推荐理由:官方回顾了一年迭代脉络,并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法,对 Swift 开发者有直接参考价值。

  3. Hugging Face Blog73

    Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进:FP8 登场,MoE 解码最高提速 6.5 倍

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。

    推荐理由:Hugging Face PyTorch 团队亲述 MPS 后端改进细节,给出各模型的实测吞吐数字,Mac 上跑模型的读者可以对照评估升级收益。

  4. Hugging Face · 趋势模型58

    FastVideo 发布 FastH3 Omni 的 ComfyUI 版 BF16 与 INT8 ConvRot 模型

    FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重,提供 BF16 和 INT8 ConvRot 两种扩散模型,可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE,采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0,参考输入用 <Picture 1> 等标签;NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发,权重遵循 MiniMax-H3 Community License Agreement。

    推荐理由:原文给出完整文件清单、采样参数和不同硬件的部署路径,想本地跑 ComfyUI 视频加音频生成可以直接照做。

  5. Ollama Blog52

    Cloudflare 27B 多模态决策模型 Clef 上线 Ollama,本地与云端均可运行

    Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线,用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来,以 Apache 2.0 协议开源,支持文本、JSON 与图像输入,可一次读取输入并同时对所有问题的答案打分,兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index,在 Jev benchmark 套件多数项目上超过 Jev,例如 BFCL case exact 98.47 对 95.75;43 个评测的延迟中位数为 209.3ms(Clef-flash 为 38.8ms)。

    推荐理由:官方发布了多模态决策模型 Clef 的完整基准与延迟数据,读者可以直接对比它和 Jev 等模型在各场景的实际表现。

  1. Hugging Face Blog57

    Hugging Face 发布 TorchNeuron:Transformers 等库原生支持 AWS Trainium

    Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端,自 2026 年 10 月 20 日起开放公测,可通过 pip install torch-neuronx 安装。

    推荐理由:官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本,便于评估是否迁移到 Trainium。

  1. arXiv · cs.CL52

    arXiv 论文:让医疗设备文档评估中大语言模型的每个阶段都确定性可复现

    arXiv 论文 arXiv:2610.21300 研究如何让医疗设备法规文档评估中每个环节确定性可复现。对十四个商业模型部署重复发送同一请求,所有部署至少有一个请求结果不一致,十二个的标签发生变化;降低推理量未减少差异,注入检索段落仅对最小模型有效,同一开放权重模型是否可复现取决于服务方式。作者构建了从文本提取、OCR、分块、嵌入、索引、检索到推理全链路确定性的流水线,在血糖仪和输液泵文档上跨重跑、中断、编辑、同型号 GPU 机器和不同日期均返回字节级相同输出;OCR、嵌入与近似检索在服务方式不固定时仍有差异,输出随 GPU 型号和推理引擎调度设置变化,因此后者应记入配置。

    推荐理由:论文给出了十四个商业 LLM 部署的可复现性实测数据,并提出一套逐阶段确定性的文档评估流水线,可直接迁移到审计场景。

  1. Hugging Face · 新模型:uncensored66

    HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化并附 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,测得 0/465 次拒绝,主打直接作答、无拒绝行为。每个文本 GGUF 保留原生 NextN/MTP 头,配套 FastMTP 32K 草稿侧车在 Q8_K_P 下实现文档 TG 3.02x、推理 TG 1.93x(对比关闭 MTP),并提供 llama.cpp 补丁、部署命令、Ed25519 签名清单与 RTX PRO 6000 Blackwell 及 RTX 6000 Ada 的实测速度表。

    推荐理由:原文给出了 0/465 拒绝数、各量化档位的 TG 加速实测数据和完整的 llama.cpp 部署流程,信息密度高且可复现。

  1. Hugging Face · 趋势模型68

    Contrastive-LM 发布开放权重模型 CLM-v0.1-8B(Apache 2.0)

    Contrastive-LM 开源了 CLM-v0.1-8B 权重(Apache 2.0),这是一个基于冻结 Qwen3-8B 编码器加状态头与动作头的 System One 对比学习模型,用于快速决策打分。

    推荐理由:原文给出了与 Jev 的延迟对比和 DeepSWE、Terminal-Bench 具体分数,读者可据此评估该快速决策模型的实际性价比。

  2. Hugging Face · 趋势模型67

    Lightricks 开放 LTX-2.5 音视频生成模型权重

    Lightricks 在 Hugging Face 开放 LTX-2.5 权重,这是一个可本地执行与微调的开放世界模型,可从文本、图像和视频输入生成同步的高保真视频与音频。

    推荐理由:官方模型卡完整列出了各组件权重文件、量化变体与运行约束,读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。

  1. Hugging Face Blog74

    微软与 Hugging Face 发布 ThinkingBox 基准,以数据库终态评测 Agent 并要求 20 次重复运行

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。

    推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。

  1. Ollama Blog64

    Ollama 0.35 支持 Jev 风格决策模型,新增 nimble 与 tev1 等 3 个模型

    Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持,通过 /v1/systemone 端点在本地一次请求回答多个命名问题,适用于工单分诊、模型路由和内容审核等快速决策场景。

    推荐理由:官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法,读者可以直接照着在本地跑起来。

  1. Ollama Blog52

    Ollama 推出按 token 计费的透明定价,Pro $20/月含 $60 用量

    Ollama 宣布 Pro、Max、Team 订阅改为透明按 token 计费,每月附带用量池:Pro $20/月含 $60 用量,Max $100/月含 $300,Team $500/月含 $1000 共享用量、不限席位数。

    推荐理由:官方公布了各档订阅价与含额明细,并解释了从 GPU 时长计费转向按 token 计费的原因,老用户可留在原计划。

  1. Ollama Blog63

    Ollama 支持 Claude Desktop 接入本地与云端模型

    Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置,可选用 Ollama 内本地或云端模型,关闭后恢复原设置;默认关闭遥测并执行零数据保留政策,也可在设置中配置本地模型。

    推荐理由:官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法,便于按需切换云端与本地模型。

  1. Ollama Blog75

    Meta Superintelligence Labs 首个开放模型 Muse Glimmer 上架 Ollama

    Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型,专为本地运行的 Agent 工作负载构建,支持 128K+ 上下文,采用 Apache 2.0 许可证。

    推荐理由:官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法,可直接照做。

  1. Ollama Blog72

    Ollama 宣布融资 8800 万美元,8.9 百万开发者在用

    Ollama 宣布获得 8800 万美元融资,投资方包括 Benchmark 的 Peter Fenton、Theory Ventures 的 Tomasz Tunguz、8VC 的 Alex Kolicich、Docker 创始人 Solomon Hykes 及 Y Combinator 等。

    推荐理由:官方融资公告披露了投资方名单、金额和 Ollama 的用户规模数据,可了解这家开源模型平台下一步的混合推理方向。

  1. ComfyUI Releases · 图像工作流63

    ComfyUI v0.27.0 发布,新增 int8 模型支持

    ComfyUI 发布 v0.27.0,主要变更是新增对 int8 模型的支持,包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点,并为 Grok Image 节点添加 1080p 分辨率,加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。

    推荐理由:ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动,读者可快速判断升级是否影响自己的工作流。