跳到正文
Hugging Face · 趋势模型·· 19 天前精选AI 评分71

NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B-24GB 本地智能体视觉语言模型

nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B-24GB,一款为本地日常智能体任务设计的视觉语言模型,总参数 74B(9B 激活),采用 Mamba-2-Transformer 混合 LatentMoE 架构,通过原生 IQ2 2-bit 量化与量化感知蒸馏压进 24GB 显存,支持最高 256K 上下文,可在 vLLM 上部署,基于 OpenMDW-1.1 许可商用。

推荐理由

模型卡完整给出架构、训练流程和与同量级模型的基准对比,读者可以自己判断 2-bit 量化的取舍。

来源:Hugging Face · 趋势模型 · huggingface.co