GitHub · 去对齐工具与仓库·· 17 天前AI 评分27
ceke567 开源 Hands-on-LLM-Training:10 周大模型训练实操仓库
ceke567/Hands-on-LLM-Training
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ceke567/Hands-on-LLM-Training
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 用户 ceke567 开源了 10 周大模型训练实操仓库 Hands-on-LLM-Training,包含可复现的训练代码、实验配置与每周结论。计划覆盖从零训练 Mini GPT、100M–300M 模型训练工程、DDP/FSDP/ZeRO 多卡对比、7B LoRA/QLoRA SFT、DPO 偏好优化、评估 pipeline 到模拟万卡 Scaling 问题,每周投入 10–18 小时。当前第 1 周实际使用 1 张 BW 异构加速卡(PyTorch 2.9.0 已识别该设备),各周实验均未开始。
来源:GitHub · 去对齐工具与仓库 · github.com