Hcompany 发布 Holo4 系列智能体模型:27B dense 与 35B-A3B 两种规格
Hcompany 发布 Holo4 系列智能体模型,含 27B dense 和 35B-A3B MoE 两种规格,并同时发布基于 NVIDIA Nemotron 3 Nano Omni 的 Holotron4 Nano。
推荐理由:官方公布了 OSWorld 2.0 与 AutomationBench 的分数、成本对比和完整轨迹数据,读者可以自行回放验证各步骤表现。
方向
把模型跑在自己机器上:量化、推理引擎、显存优化、微调与蒸馏,以及让更大的无对齐模型跑得起来的工程进展。
2,011 条精选近 30 天 538 条共收录 7,883 条
Hcompany 发布 Holo4 系列智能体模型,含 27B dense 和 35B-A3B MoE 两种规格,并同时发布基于 NVIDIA Nemotron 3 Nano Omni 的 Holotron4 Nano。
推荐理由:官方公布了 OSWorld 2.0 与 AutomationBench 的分数、成本对比和完整轨迹数据,读者可以自行回放验证各步骤表现。
LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x,端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x;草稿模型约 280M 参数,仅增加 8.9% 参数量。
推荐理由:原文给出4层注意力 drafter 的结构与分任务实测加速数据,并解释预填充阶段为何限制端到端收益。
Google DeepMind 在 Hugging Face 开源 EmbeddingGemma 2,一个 740M 参数的多模态嵌入模型,将文本、代码、图像、视频和音频统一映射到 768 维向量空间,支持 100+ 语言和 8K token 上下文。模型采用 MRL 支持截断到 128d 至 512d,可在 256d 内接近无损地降低向量存储成本,并允许按需加载视觉(170M)与音频(300M)编码器;文本编码基准 MTEB code 得分 78.68,较一代的 68.76 明显提升。
推荐理由:官方模型卡给出各维度基准分数、MRL 截断表和部署配置,对想在端侧做多模态检索的开发者是可落地的选型参考。
Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置,可选用 Ollama 内本地或云端模型,关闭后恢复原设置;默认关闭遥测并执行零数据保留政策,也可在设置中配置本地模型。
推荐理由:官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法,便于按需切换云端与本地模型。
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,实测拒绝率 0/465,保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位,附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG,比内嵌 MTP 最高快 35.2%/21.1%,实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁,vision 需单独 BF16 projector,原生上下文 262,144 token,可扩展至 1,000,000。
推荐理由:原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据,读者可据此判断去对齐程度和各档位实际推理速度。
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构,面向长时运行的 Agent 任务,支持最高 1M token 上下文,通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐,任务完成时间快 30%。
推荐理由:原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据,读者可据此评估其本地 Agent 部署价值。
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型,专为本地运行的 Agent 工作负载构建,支持 128K+ 上下文,采用 Apache 2.0 许可证。
推荐理由:官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法,可直接照做。
ComfyUI 发布 v0.27.0,主要变更是新增对 int8 模型的支持,包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点,并为 Grok Image 节点添加 1080p 分辨率,加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。
推荐理由:ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动,读者可快速判断升级是否影响自己的工作流。
Ollama 0.31 通过多 token 预测(MTP)让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%,基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由:原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据,并指出新内核可被其他模型复用。
Ollama 更新其 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,支持 NVIDIA 的 NVFP4 量化格式:在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半,输出速度在 8,300-token 输入下快约 20%。
推荐理由:官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式,数据与方法都可直接参考。
ComfyUI 发布 v0.18.0,合并了从 v0.17.0 以来的大量改动,包括 LTX 与 WAN VAE 降低 VRAM 与峰值 RAM 占用、支持 mxfp8、新增 --fp16-intermediates 与 --enable-dynamic-vram 启动选项。其他更新包括 FP4/8/16 原生 dtype 训练支持、AMD gfx1150(Strix Point)启用 Pytorch Attention、userdata 原子写入防崩溃丢数据,以及新增 Quiver SVG 节点并将 seedream-3-0-t2i 和 seedance-1-0-lite API 节点标记为弃用。
推荐理由:这份官方更新日志集中列出了内存与显存优化、量化训练支持等具体改动,想了解该版本实际改了什么的读者可对照查阅。