Hugging Face · 趋势模型·· 19 天前精选AI 评分71
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B-24GB 本地智能体视觉语言模型
nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B-24GB,一款为本地日常智能体任务设计的视觉语言模型,总参数 74B(9B 激活),采用 Mamba-2-Transformer 混合 LatentMoE 架构,通过原生 IQ2 2-bit 量化与量化感知蒸馏压进 24GB 显存,支持最高 256K 上下文,可在 vLLM 上部署,基于 OpenMDW-1.1 许可商用。
推荐理由
模型卡完整给出架构、训练流程和与同量级模型的基准对比,读者可以自己判断 2-bit 量化的取舍。
来源:Hugging Face · 趋势模型 · huggingface.co