GitHub · 灵魂体仓库·· 19 天前AI 评分38
LLMForge：从零实现并训练 decoder-only Transformer 的实验性训练框架
acphotinakis/LLMForge
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/acphotinakis/LLMForge
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LLMForge 是一个用 PyTorch 从零实现并训练的 decoder-only Transformer 语言模型训练框架，涵盖模型架构、tokenization、数据加载、训练循环、checkpoint 管理与推理全流程。架构采用 RoPE、GQA、RMSNorm、SwiGLU 和因果自注意力，训练引擎支持 AdamW、梯度累积、学习率调度和可恢复 checkpoint。项目支持 PyTorch MPS 在 Apple Silicon 上运行，数据集使用 FineWeb-Edu 子集，目前为实验性研究项目，不分发数据集文件和模型权重。
来源：GitHub · 灵魂体仓库 · github.com