avolxn/tinygpt：基于 nanochat 的在线知识蒸馏训练流水线

GitHub 上的 tinygpt 是一套基于 nanochat 的分布式训练流水线，用 Transformers、PyTorch FSDP2、vLLM、Airflow 和 MLflow 组成，将 SFT 替换为在线蒸馏。默认教师模型为 Mistral-7B-Instruct-v0.3，可经 TEACHER_MODEL 更换（如 Qwen3-8B）；学生含 24 个 Transformer block，FP8 预训练默认开启，评测使用 DCLM CORE、ARC、MMLU、GSM8K 和 HumanEval。