GitHub · 去对齐工具与仓库·· 20 天前AI 评分36
flame：基于 torchtitan 的轻量高效语言模型训练框架
Bernice-ljm/LLM_Standardization
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Bernice-ljm/LLM_Standardization
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源项目 flame 是一个基于 torchtitan 构建的极简高效语言模型训练框架，可无缝集成 fla 与 transformers，支持在线 tokenization、数据集打乱等零成本数据预处理，4D 并行即将推出。项目提供在 Fineweb-edu 的 sample-100BT 子集上从零训练 340M FLA Transformer（LLaMA-like 架构）的完整配方，默认学习率 1e-3、cosine 调度，也支持 WSD（wsd）等调度器，默认 8 卡、NGPU=1 可单卡调试。
来源：GitHub · 去对齐工具与仓库 · github.com