GitHub · 去对齐工具与仓库·· 21 天前AI 评分52
Sutra-1.3B 从零预训练并开源权重,附完整训练管线与评测
Abhisingh18/Sutra-1.3B-Model
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Abhisingh18/Sutra-1.3B-Model
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者用 PyTorch 从零实现了预训练、SFT 和 DPO 全流程,训练出 Sutra-1.3B-Chat 并开放权重(huggingface.co/Abhisingh-18/Sutra-1.3B-Chat),不使用 HuggingFace Trainer 或预训练权重,目标硬件为 4x RTX 6000 Ada(48GB)。
来源:GitHub · 去对齐工具与仓库 · github.com