bitbeen 开源 llm-min-train：从随机参数写起的 0.75B 解码器完整训练链路

bitbeen 在 GitHub 发布 llm-min-train 仓库，从随机初始化训练一个约 0.75B 的解码器 TinyLM（24 层、隐层 1536、24 头），不加载任何第三方权重，涵盖分词器、RMSNorm、RoPE、SwiGLU、第 2 层 4 专家 MoE、视觉补块和工具调用循环。训练按预训练、监督微调、DPO、LoRA、图像视频、工具调用等阶段推进，DPO 用冻结参考拷贝，GRPO 默认关闭，LoRA 秩 8、α=16，算术由程序解析 <工具> 调用完成而非网络内计算。语料为手写中文样本加 WikiText-2，仓库明确说明只够跑通机制，不与千亿参数模型比通用能力，也不附带语料和权重。