arXiv · cs.AI· NVIDIA·· 2 天前精选AI 评分70
NVIDIA 发布 Nemotron 3.5 Super 与 Lightning 开源 MoE 混合 Mamba-Transformer 模型
Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI
来源与原文
arXiv · cs.AI
作者：NVIDIA
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.38095v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA 发布面向推理、长上下文和智能体工作负载的开源 MoE 混合 Mamba-Transformer 模型 Nemotron 3.5 Super 与 Lightning。Super 为 120B 参数、12B 激活的多模态模型，Lightning 为 30B 参数、3B 激活的文本模型，两者结合大规模蒸馏、长上下文训练与原生投机解码。Super 在 SWE-bench Pro 达 51.78%，超过 Nemotron 3 Ultra 而激活参数约少 4.6 倍；NVFP4 量化相对 BF16 中位精度恢复 99.62%，GB200 上推理优化可达 4,856 output tokens/s/GPU。论文地址 https://arxiv.org/abs/2610.38095v1。
推荐理由
论文给出训练管线与多项基准数字，读者可对照参数规模了解这对 MoE 混合架构模型的能力与部署效率取舍。
来源：arXiv · cs.AI · arxiv.org