跳到正文
GitHub · 去对齐工具与仓库·· 17 天前AI 评分27

ceke567 开源 Hands-on-LLM-Training:10 周大模型训练实操仓库

ceke567/Hands-on-LLM-Training

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ceke567/Hands-on-LLM-Training

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 用户 ceke567 开源了 10 周大模型训练实操仓库 Hands-on-LLM-Training,包含可复现的训练代码、实验配置与每周结论。计划覆盖从零训练 Mini GPT、100M–300M 模型训练工程、DDP/FSDP/ZeRO 多卡对比、7B LoRA/QLoRA SFT、DPO 偏好优化、评估 pipeline 到模拟万卡 Scaling 问题,每周投入 10–18 小时。当前第 1 周实际使用 1 张 BW 异构加速卡(PyTorch 2.9.0 已识别该设备),各周实验均未开始。

来源:GitHub · 去对齐工具与仓库 · github.com