Reddit · r/LocalLLaMA· /u/Prestigious-Taste-63·· 2 小时前精选AI 评分62
网友从零在 70B token 上训练 21B MoE 模型 Apex-3 并发布稳定 checkpoint
I trained a 21B MoE (3.36B active) from scratch on 70B tokens (emergent ability observations)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Prestigious-Taste-63
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhog7b/i_trained_a_21b_moe_336b_active_from_scratch_on/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit 用户发布从零训练的 Apex-3，21B 参数 MoE（每 token 激活 3.36B），在 70B token 上无外部预训练权重完成训练，含 64 个路由专家加 1 个共享专家（top-4）、SuperBPE tokenizer，用 Muon 与 DiLoCo 在 GH200 上训练，并在 Hugging Face 开放稳定 checkpoint。
推荐理由
作者用训练日志区分了真实相变与指标假象，算术概率连续上升而 exact match 突跳，方法可迁移到其他涌现能力分析。
来源：Reddit · r/LocalLLaMA · reddit.com