网友从零训练21B MoE模型Apex-3并开源checkpoint
热点事件持续更新
网友从零训练21B MoE模型Apex-3并开源checkpoint
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户 /u/Prestigious-Taste-63 称从零训练了 21B 参数的 MoE 模型 Apex-3（每 token 激活 3.36B），训练数据为 70B token，未使用外部预训练权重，并在 Hugging Face 开放了稳定 checkpoint，供他人继续训练。 作者称模型采用 64 个路由专家加 1 个共享专家（top-4 路由）、SuperBPE tokenizer，用 Muon 与 DiLoCo 方法在 GH200 上训练。作者说明帖子内容是训练日志中观察到的涌现能力，并非最终 SFL 后的成绩。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 21:43
网友从零在 70B token 上训练 21B MoE 模型 Apex-3 并发布稳定 checkpoint报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMA精选网友从零在 70B token 上训练 21B MoE 模型 Apex-3 并发布稳定 checkpoint
Reddit 用户发布从零训练的 Apex-3，21B 参数 MoE（每 token 激活 3.36B），在 70B token 上无外部预训练权重完成训练，含 64 个路由专家加 1 个共享专家（top-4）、SuperBPE tokenizer，用 Muon 与 DiLoCo 在 GH200 上训练，并在 Hugging Face 开放稳定 checkpoint。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。