Reddit · r/LocalLLaMA· /u/jacek2023·· 12 天前精选AI 评分67
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB 视觉语言模型
nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB · Hugging Face
来源与原文
Reddit · r/LocalLLaMA
作者:/u/jacek2023
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x6o31q/nvidianvidianemotron35bolt74ba9b24gb_hugging_face/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB,一个面向本地日常智能体任务的开源权重视觉语言模型,采用原生 2-bit 量化(IQ2,量化感知训练)将 74B 总参数(9B 激活)压进 24GB 显存。架构为 Mamba-2 与 Transformer 混合加 LatentMoE,配 C-RADIO v4-H 视觉编码器,支持文本、图像和视频输入,上下文最长 256K tokens,可通过 vLLM 部署在 A100、H100-80GB 或 Blackwell 上,并支持经 DFlash 的 LiLiCorr 投机解码。许可证为 OpenMDW-1.1,可商用;GGUF 权重已上架 Hugging Face。
推荐理由
原文给出了参数结构、量化精度、显存占用和部署硬件等具体规格,读者可以据此评估本地跑智能体任务的可行性。
来源:Reddit · r/LocalLLaMA · reddit.com