A1phaCaO/MyLM：一个从零实现的语言模型训练教学代码库

GitHub 开源项目 MyLM 提供一套从零实现的完整语言模型训练流程代码，面向初学者和个人开发者，降低硬件门槛。项目基于 Transformer 架构的 GPT 模型，实现 RoPE 位置编码、门控注意力（Gated Attention）、MoE 等技术，覆盖数据预处理、BPE 分词器、训练循环与 SFT 监督微调。项目仍处于积极开发阶段，仅用于教育目的，不适用于生产环境。