GitHub · 去对齐工具与仓库·· 18 天前AI 评分23
pytorch-llm：用 PyTorch 从零实现 GPT 架构的学习项目
phntmzn/pytorch-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/phntmzn/pytorch-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 pytorch-llm 项目用 Python 和 PyTorch 从零构建了一个 GPT 风格的自回归语言模型，涵盖 token 与位置嵌入、causal self-attention、前馈网络和 4 层 Transformer block。默认配置为 block_size 128、n_embd 128、n_head 4、AdamW 优化器与 3000 次训练迭代，使用字符级 tokenizer。项目支持 checkpoint 保存与恢复、自回归文本生成，并可在 Apple Silicon Mac 上通过 MPS 后端训练。
来源：GitHub · 去对齐工具与仓库 · github.com