Hugging Face · 趋势模型·· 16 天前AI 评分45
AutoTrust 发布 JEV-35B-NVFP4:10,240 个路由专家量化至 NVFP4,权重体积降 65%
autotrust/JEV-35B-NVFP4
来源与原文
Hugging Face · 趋势模型
发布时间:(北京时间)
阅读原始来源 · huggingface.co ↗完整链接与内容说明
https://huggingface.co/autotrust/JEV-35B-NVFP4
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版,将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式,其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB,vLLM 显存占用 23.3 GiB(−65%),单张 32-48 GB GPU 即可部署;文本 Decision Index 59.75 对比 bf16 的 59.18,五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B,与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联,可通过 vLLM 直接加载。
来源:Hugging Face · 趋势模型 · huggingface.co