跳到正文
Hugging Face · 趋势模型·· 15 天前精选AI 评分64

NVIDIA 发布 Nemotron 3.5 Super VL 120B-A12B 的 NVFP4 量化版

nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

来源与原文

Hugging Face · 趋势模型

发布时间:(北京时间)

阅读原始来源 · huggingface.co ↗
完整链接与内容说明

https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本,这是一个 120B 总参数、12B 激活参数的视觉语言模型,采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器,支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成,模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果,并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置,许可证为 OpenMDW-1.1,可商用。

推荐理由

模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置,读者可以据此评估量化损失与所需显存门槛。

来源:Hugging Face · 趋势模型 · huggingface.co