方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,767 条精选近 30 天 1,565 条共收录 6,847 条
HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列，实测拒绝率 0/465，保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位，附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG，比内嵌 MTP 最高快 35.2%/21.1%，实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁，vision 需单独 BF16 projector，原生上下文 262,144 token，可扩展至 1,000,000。
推荐理由：原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据，读者可据此判断去对齐程度和各档位实际推理速度。
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构，面向长时运行的 Agent 任务，支持最高 1M token 上下文，通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐，任务完成时间快 30%。
推荐理由：原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据，读者可据此评估其本地 Agent 部署价值。
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型，专为本地运行的 Agent 工作负载构建，支持 128K+ 上下文，采用 Apache 2.0 许可证。
推荐理由：官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法，可直接照做。
ComfyUI 发布 v0.27.0，主要变更是新增对 int8 模型的支持，包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点，并为 Grok Image 节点添加 1080p 分辨率，加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。
推荐理由：ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动，读者可快速判断升级是否影响自己的工作流。
Ollama 0.31 通过多 token 预测（MTP）让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%，基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由：原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据，并指出新内核可被其他模型复用。
Ollama 更新其 MLX 引擎，称在 Apple Silicon 上实现迄今最高性能，支持 NVIDIA 的 NVFP4 量化格式：在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半，输出速度在 8,300-token 输入下快约 20%。
推荐理由：官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式，数据与方法都可直接参考。
ComfyUI 发布 v0.18.0，合并了从 v0.17.0 以来的大量改动，包括 LTX 与 WAN VAE 降低 VRAM 与峰值 RAM 占用、支持 mxfp8、新增 --fp16-intermediates 与 --enable-dynamic-vram 启动选项。其他更新包括 FP4/8/16 原生 dtype 训练支持、AMD gfx1150（Strix Point）启用 Pytorch Attention、userdata 原子写入防崩溃丢数据，以及新增 Quiver SVG 节点并将 seedream-3-0-t2i 和 seedance-1-0-lite API 节点标记为弃用。
推荐理由：这份官方更新日志集中列出了内存与显存优化、量化训练支持等具体改动，想了解该版本实际改了什么的读者可对照查阅。