跳到正文
GitHub · 去对齐工具与仓库·· 21 天前AI 评分52

Sutra-1.3B 从零预训练并开源权重,附完整训练管线与评测

Abhisingh18/Sutra-1.3B-Model

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Abhisingh18/Sutra-1.3B-Model

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者用 PyTorch 从零实现了预训练、SFT 和 DPO 全流程,训练出 Sutra-1.3B-Chat 并开放权重(huggingface.co/Abhisingh-18/Sutra-1.3B-Chat),不使用 HuggingFace Trainer 或预训练权重,目标硬件为 4x RTX 6000 Ada(48GB)。

来源:GitHub · 去对齐工具与仓库 · github.com