Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,约 816B 参数、42B 激活
Meta 在 Hugging Face 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M token。模型针对 agentic coding 训练,可读代码库、写代码、调试并调用工具;官方给出 transformers、llama.cpp、vLLM、SGLang、MLX 部署配方,BF16 权重约 1.5 TB,NVFP4 版可跑在单节点 B200 上,并用 TRL 在 64 张 H100 上完成 LoRA 微调演示。
推荐理由:官方博客给出完整架构参数与多套部署配方,从 llama.cpp 量化到 TRL 微调实测数据都有,可按需选路径复现。