GitHub · 去对齐工具与仓库·· 20 天前AI 评分43
NVIDIA Model Optimizer：模型量化、剪枝与蒸馏优化库
NVIDIA/Model-Optimizer
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/NVIDIA/Model-Optimizer
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA Model Optimizer（ModelOpt）是集量化、剪枝、NAS、蒸馏、投机解码与稀疏化于一体的模型优化库，支持 Hugging Face、PyTorch 和 ONNX 输入，可导出至 SGLang、TensorRT-LLM、vLLM 等推理框架。近期 Qwen3.6-35B-A3B 的 NVFP4 W4A4 量化实现最高 1.30x vLLM 吞吐提升和 3.1x 更小的 checkpoint，Nemotron 3 Ultra（550B）量化后推理吞吐较 GLM-5.1 754B FP4 高达 5.9 倍。该库已开源，支持 FP8 与 NVFP4。
来源：GitHub · 去对齐工具与仓库 · github.com