pankajkr23/llm-pretraining-exercises：LLM 预训练实战练习仓库

GitHub 上的 llm-pretraining-exercises 仓库提供 LLM 预训练实战练习与 capstone 项目，从最小 Transformer block 到真实训练运行。练习涵盖 BPE 分词、面向 India-first 40B 模型的数据收集（145 个数据集）、清洗去重、V5 训练配方、tokenized shards 数据集构建、Kronecker byte embeddings v2，以及从 Bahdanau 2014 到 2026 年 8 月高维 RoPE 的 30 种注意力机制时间线。技术栈为 Python 3.12 + uv workspace，配 ruff、pytest 与 GitHub Actions CI，网页练习零依赖部署到 Vercel。