GitHub · 去对齐工具与仓库·· 3 天前AI 评分18
NanoGPT：跟随 Karpathy 视频从零实现 GPT 的完整教程仓库
ZenithX9271/NanoGPT
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ZenithX9271/NanoGPT
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 仓库 NanoGPT 依据 Andrej Karpathy 的 "Let's build GPT" 教程，分 6 个阶段从 Bigram 基线逐步实现完整 Transformer。项目在 Tiny Shakespeare 数据集（约 1.1MB、65 个字符）上训练，NanoGPT 经 5k 步训练 GPU 下训练/验证损失约 1.48/1.49，Bigram 基线约 2.50/2.51，代码含 self-attention、多头注意力、FFN、残差与 LayerNorm 等模块，可直接运行。
来源：GitHub · 去对齐工具与仓库 · github.com