tiny-llm：在 408M 预算与 20.4M 参数模型上细致评测学习率调度与去中心化训练

GitHub 上的 tiny-llm 项目以 20.4M 参数模型在 C4 数据上系统对比 cosine-to-zero 与 WSD 学习率调度及去中心化训练，覆盖 1,188 次独立 cosine 运行和 594 次 WSD seed/horizon 结果，共享训练预算为每参数 20/40/80 global tokens。结果显示同步训练在各共享预算下选定平均损失最低，同步与去中心化 cosine 训练的差距随预算增大而收窄，在 408M 目标预算、context 512 下调优后的裁剪式四 worker 去中心化训练已接近同步质量。项目支持 NVIDIA GH200 单卡训练，提供 Hessian 与梯度噪声分析、Slurm 作业提交及交互式结果网站。