MiniGPT LLM 训练流水线开源：从 Wikipedia 数据到文本生成的端到端实践

开发者开源了一个概念验证项目 MiniGPT，在清洗后的英文 Wikipedia 子集上端到端训练小型 Transformer 语言模型，覆盖数据清洗、Byte-Level BPE 分词、训练、checkpoint 与文本生成全流程。模型默认配置为 n_embd=128、n_layer=4、nhead=4、block_size=1024，训练采用 AdamW(lr=3e-4) 和 0.1 验证集划分，自研部分包括断点续训、CSV 持久化日志与采样生成。项目还记录了在 NVIDIA Blackwell GPU 早期通过版本对齐解决驱动/CUDA/PyTorch 兼容问题的经验。