Hugging Face · 趋势模型·· 18 天前精选AI 评分63
NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版，支持单卡本地部署
nvidia/Qwen3.8-Flash-Next-FP4-Local
来源与原文
Hugging Face · 趋势模型
发布时间：（北京时间）
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/nvidia/Qwen3.8-Flash-Next-FP4-Local
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由
官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。
来源：Hugging Face · 趋势模型 · huggingface.co