跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上:量化、推理引擎、显存优化、微调与蒸馏,以及让更大的无对齐模型跑得起来的工程进展。

2,011 条精选近 30 天 538 条共收录 7,883 条

更新

精选归档 · 第 101 页

9月28日周一第 2001–2011 条
9月24日周四
  1. Hugging Face Blog63

    LiquidAI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,解码加速最高 3.13x

    LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x,端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x;草稿模型约 280M 参数,仅增加 8.9% 参数量。

    推荐理由:原文给出4层注意力 drafter 的结构与分任务实测加速数据,并解释预填充阶段为何限制端到端收益。

9月14日周一
  1. Hugging Face · 趋势模型58

    Google DeepMind 开源 EmbeddingGemma 2 多模态嵌入模型

    Google DeepMind 在 Hugging Face 开源 EmbeddingGemma 2,一个 740M 参数的多模态嵌入模型,将文本、代码、图像、视频和音频统一映射到 768 维向量空间,支持 100+ 语言和 8K token 上下文。模型采用 MRL 支持截断到 128d 至 512d,可在 256d 内接近无损地降低向量存储成本,并允许按需加载视觉(170M)与音频(300M)编码器;文本编码基准 MTEB code 得分 78.68,较一代的 68.76 明显提升。

    推荐理由:官方模型卡给出各维度基准分数、MRL 截断表和部署配置,对想在端侧做多模态检索的开发者是可落地的选型参考。

8月25日周二
  1. Ollama Blog63

    Ollama 支持 Claude Desktop 接入本地与云端模型

    Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置,可选用 Ollama 内本地或云端模型,关闭后恢复原设置;默认关闭遥测并执行零数据保留政策,也可在设置中配置本地模型。

    推荐理由:官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法,便于按需切换云端与本地模型。

8月17日周一
  1. Hugging Face · 趋势模型59

    HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化版并附带 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,实测拒绝率 0/465,保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位,附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG,比内嵌 MTP 最高快 35.2%/21.1%,实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁,vision 需单独 BF16 projector,原生上下文 262,144 token,可扩展至 1,000,000。

    推荐理由:原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据,读者可据此判断去对齐程度和各档位实际推理速度。

8月11日周二
  1. Ollama Blog66

    NVIDIA Nemotron 3.5 Lightning 开放模型登陆 Ollama,可完全本地运行

    NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构,面向长时运行的 Agent 任务,支持最高 1M token 上下文,通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐,任务完成时间快 30%。

    推荐理由:原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据,读者可据此评估其本地 Agent 部署价值。

8月10日周一
  1. Ollama Blog75

    Meta Superintelligence Labs 首个开放模型 Muse Glimmer 上架 Ollama

    Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型,专为本地运行的 Agent 工作负载构建,支持 128K+ 上下文,采用 Apache 2.0 许可证。

    推荐理由:官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法,可直接照做。

7月1日周三
  1. ComfyUI Releases · 图像工作流63

    ComfyUI v0.27.0 发布,新增 int8 模型支持

    ComfyUI 发布 v0.27.0,主要变更是新增对 int8 模型的支持,包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点,并为 Grok Image 节点添加 1080p 分辨率,加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。

    推荐理由:ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动,读者可快速判断升级是否影响自己的工作流。

6月29日周一
6月11日周四
  1. Ollama Blog71

    Ollama 更新 MLX 引擎,Apple Silicon 性能提升并支持 NVFP4 量化

    Ollama 更新其 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,支持 NVIDIA 的 NVFP4 量化格式:在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半,输出速度在 8,300-token 输入下快约 20%。

    推荐理由:官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式,数据与方法都可直接参考。

3月21日周六
  1. ComfyUI Releases · 图像工作流63

    ComfyUI v0.18.0 发布:多处 VAE 与显存内存优化

    ComfyUI 发布 v0.18.0,合并了从 v0.17.0 以来的大量改动,包括 LTX 与 WAN VAE 降低 VRAM 与峰值 RAM 占用、支持 mxfp8、新增 --fp16-intermediates 与 --enable-dynamic-vram 启动选项。其他更新包括 FP4/8/16 原生 dtype 训练支持、AMD gfx1150(Strix Point)启用 Pytorch Attention、userdata 原子写入防崩溃丢数据,以及新增 Quiver SVG 节点并将 seedream-3-0-t2i 和 seedance-1-0-lite API 节点标记为弃用。

    推荐理由:这份官方更新日志集中列出了内存与显存优化、量化训练支持等具体改动,想了解该版本实际改了什么的读者可对照查阅。