NVIDIA 开源 24GB 视觉语言模型 Nemotron 3.5 Bolt 74B-A9B，社区推出无对齐版

GitHub 仓库 mlx-model-bench 发布统一框架下的本地评测，测 NVIDIA Nemotron 3.5 Bolt E4B、MiniCPM5-2B、Spark-X2.5-4B、LFM2.5-8B-A1B 在 4-bit、OptiQ 4/8-bit、8-bit 三档量化的速度、TTFT、内存与盲评质量，硬件为 Apple M4 10 核加 mlx-lm 0.32.2。作者强调这不是榜单，每行附带 checkpoint、bits-per-weight 与发布方来源，历史运行缺少系统快照、盲评仅单人评分（ slots 间差 1.37 分，属偏好信号而非排名），并给出完整复现脚本与固定 30 条准确率加 8 条质量提示词。

作者复盘72小时内四个开放权重模型发布：Meta Muse Spark Open（816B总参/42B激活/1M上下文，Artificial Analysis指数39）、NVIDIA Nemotron 3.5 Bolt（74B总参/9B激活，量化感知训练到2 bit，全模型22GB加1.7GB视觉投影器，专为24GB显存设计）、Reflection Beam（501B总参/23B激活，Apache 2.0）、DeepSeek V4.1 Flash 1017（MIT，官方表格DeepSWE 77.0对比Opus 5的74.0，仓库510GB）。作者指出许可证差异比参数量更关键，Meta要求署名且超2000万美元营收需另签协议，而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。

用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（IQ2_XSS 官方量化），20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s，为各构建方案最佳，其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp，但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s；GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限，draft 默认设置（每步 3 token、无置信阈值）最优。

BoldingBuilds 在 Hugging Face 发布 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的无对齐版本，直接在 24GB 2-bit GGUF 上做权重空间消融，未经过 BF16 重量化，保留了 NVIDIA 量化感知蒸馏产出的约 17GB IQ2_XXS 专家权重。编辑共改动 100 个张量，采用 Arditi et al. 2024 的均值差方向法，λ=0 时输出与原文件逐字节一致作为自检门槛。

Reddit 用户 BTA_Labs 实测 Nvidia Nemotron 3.5 Bolt 74B-A9B（原生 2-bit QAT，Mamba-2-Transformer 混合 LatentMoE，9B 激活）与 Liquid AI LFM2.5-24B-A2B（24B 总参数、2.45B 激活、131k 上下文），认为 Q4 以下量化必掉智的老规则在 QAT 和混合架构下需要重写。

AtomicChat 将 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的拒绝行为从权重中投影移除，发布 Atomic Dynamic GGUF 量化版本。在留出的 JailbreakBench 提示上拒绝率从 97.5% 降到 0%，俄语红队提示从 70% 降到 0%，开启思考时 30 条全部不再拒绝；MMLU 从 81.35% 到 81.75%（McNemar p=0.29），工具调用和 30k 长上下文检索不受影响。

NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，一个面向本地日常智能体任务的开源权重视觉语言模型，采用原生 2-bit 量化（IQ2，量化感知训练）将 74B 总参数（9B 激活）压进 24GB 显存。架构为 Mamba-2 与 Transformer 混合加 LatentMoE，配 C-RADIO v4-H 视觉编码器，支持文本、图像和视频输入，上下文最长 256K tokens，可通过 vLLM 部署在 A100、H100-80GB 或 Blackwell 上，并支持经 DFlash 的 LiLiCorr 投机解码。许可证为 OpenMDW-1.1，可商用；GGUF 权重已上架 Hugging Face。

NVIDIA 的 Nemotron Bolt 3.5 74B A9B 可能于今日发布，另有一个 E4B 4GB 版本定于 10 月 23 日推出。目前似乎只放出 2-bit QAT 版本，但将以完全开源方式发布。

NVIDIA Nemotron Bolt 3.5 74B A9B 定于 10 月 15 日发布，为 74B 参数、9B 激活参数的 MoE 模型，经 2-bit 量化与量化感知训练后可装入 24GB 显存。官方称其速度优于多数热门稠密模型，智能水平高于同内存占用的热门 MoE 模型；Nemotron 3.5 Bolt E4B 4GB 版将于 10 月 23 日发布。