开源项目 llm-from-scratch 从零手写训练小型 GPT

开发者 Canadasun 在 GitHub 发布 llm-from-scratch 仓库，不使用任何模型库、不微调他人权重，而是从零手写 tokenizer、自注意力、Transformer 块和训练循环来构建大语言模型，目标面向软件开发与网络安全领域，采用 MIT 许可证。项目无需本地 GPU，可使用免费的 Colab/Kaggle GPU 训练。 项目分阶段推进：当前 Milestone 1 提供约 0.5M 参数的字符级 GPT，可在 CPU 上数分钟完成训练；Milestone 2 计划升级到 BPE tokenizer 和 10–100M 参数。仓库内置安全流水线，包括训练前用 safety/scrub.py 清洗 API token、JWT 等密钥，prompt 分级内容策略，评测报告 held-out perplexity 并在 CI 中运行。据项目提供的首次 CPU 实测结果，种子基准从 30.0% 提升到 33.5%，但未通过推理回归检查，代码得分仍为 0/18。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。