方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,665 条精选近 30 天 1,653 条共收录 6,341 条
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型，专为本地运行的 Agent 工作负载构建，支持 128K+ 上下文，采用 Apache 2.0 许可证。
推荐理由：官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法，可直接照做。
ComfyUI 发布 v0.27.0，主要变更是新增对 int8 模型的支持，包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点，并为 Grok Image 节点添加 1080p 分辨率，加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。
推荐理由：ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动，读者可快速判断升级是否影响自己的工作流。
Ollama 0.31 通过多 token 预测（MTP）让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%，基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由：原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据，并指出新内核可被其他模型复用。
Ollama 更新其 MLX 引擎，称在 Apple Silicon 上实现迄今最高性能，支持 NVIDIA 的 NVFP4 量化格式：在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半，输出速度在 8,300-token 输入下快约 20%。
推荐理由：官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式，数据与方法都可直接参考。
ComfyUI 发布 v0.18.0，合并了从 v0.17.0 以来的大量改动，包括 LTX 与 WAN VAE 降低 VRAM 与峰值 RAM 占用、支持 mxfp8、新增 --fp16-intermediates 与 --enable-dynamic-vram 启动选项。其他更新包括 FP4/8/16 原生 dtype 训练支持、AMD gfx1150（Strix Point）启用 Pytorch Attention、userdata 原子写入防崩溃丢数据，以及新增 Quiver SVG 节点并将 seedream-3-0-t2i 和 seedance-1-0-lite API 节点标记为弃用。
推荐理由：这份官方更新日志集中列出了内存与显存优化、量化训练支持等具体改动，想了解该版本实际改了什么的读者可对照查阅。