Reddit · r/LocalLLaMA· /u/Prestigious-Taste-63·· 15 天前AI 评分55
独立研究者用单张 GH200 预训练 21B MoE，MFU 从 21.1% 提到 50.7%
A Record of the Process of Increasing MFU from 21% to 50% While Pre-training 21B MoE Using a Single GH200 Chip (Includes Code and Logs)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Prestigious-Taste-63
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x411cv/a_record_of_the_process_of_increasing_mfu_from_21/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE（总参数 20.99B、激活 3.36B）预训练改在单张 GH200（$2.29/小时）上完成，并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%（13 个测量点），真实数据训练 MFU 为 48.9–49.1%（10.9B tokens），附代码、基准记录与训练日志（https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3），论文见 https://zenodo.org/records/23316135。
来源：Reddit · r/LocalLLaMA · reddit.com