CrucibleLM 开源：128M 实验模型融合 MLA、MoE 等前沿架构，单张 16GB GPU 可从零训练

tfwcn 在 GitHub 开源 CrucibleLM，一个约 128M 总参数、48M 激活参数的实验性小模型，将 DeepSeek 式 MLA、细粒度 MoE、MTP 与 Qwen-Next 式混合线性注意力、Muon 优化器等 SOTA 技术融合，用于在 1/1000 规模研究这些方法的行为。模型可在单张 16GB GPU 上从零预训练（约 46 小时），支持 200K 上下文推理（latent KV cache + 稀疏注意力，实测约 0.2GB KV），RTX 3080 Laptop 上约 31 tok/s。