LLM-from-scratch:从零构建 LLM 的开源教程仓库
GitHub 用户 Manish-kumar3275 开源了「LLM-from-scratch」项目,采用 MIT license,通过系列 Jupyter notebook 演示从零构建 LLM 的过程,内容涵盖数据处理、Tokenizer、简化版 Attention、GPT 类实现、Top_k 采样和训练循环,并附带 Evalutation.ipynb 评测笔记本。目前仓库处于起步阶段,0 stars、0 forks、1 watching。