开源项目 llm110：从零训练约 0.1B 俄语 Qwen3.5 模型并对比五种优化器

研究项目 llm110 从零训练一个 102,640,768 参数的俄语 Qwen3.5 文本模型，在相同条件下对比 Adam、HGlobalAdam、AdamW、HGlobalAdamW 和 HGlobalMuon 五种优化器，每个方法预算 500M 训练 token，总计 2.5B token。架构采用 12 层 Gated DeltaNet 加 4 层 full attention，数据为 FineWeb-2、mC4、FineWiki 和 Taiga 的混合语料，seed 统一为 42，LR schedule 固定为 constant。项目提供配置文件、数据准备、训练与指标导出脚本，但不随仓库发布模型权重。