GitHub · 3D 生成新仓库·· 18 天前AI 评分12
CaptainLLM：从零构建 decoder-only Transformer 并逐步改造为 Python 代码生成模型
GeorgiosMavropoulos/CaptainLLM
来源与原文
GitHub · 3D 生成新仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/GeorgiosMavropoulos/CaptainLLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 新仓库 CaptainLLM 用 Python 和 PyTorch 从第一性原理实现 GPT 风格的 decoder-only Transformer，涵盖文本处理、tokenization、嵌入、自注意力、训练与生成，随后在 Python 代码语料上预训练并微调，用于指令式代码生成。项目定位为学习与实验，而非复现生产级数十亿参数模型，将围绕模型规模、上下文长度（256/512/1024 tokens）、数据集和超参数开展可复现实验。
来源：GitHub · 3D 生成新仓库 · github.com