GitHub · 去对齐工具与仓库·· 20 天前AI 评分34
botextractai 开源 LLM 预训练示例项目：以 TinySolar-248m-4k 演示 continued pretraining
botextractai/ai-pretraining-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/botextractai/ai-pretraining-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 ai-pretraining-llm 项目以 TinySolar-248m-4k 模型为例演示 continued pretraining，通过调整权重让模型更好地预测下一个 token，示例仅跑 30 步训练。项目用 Weights & Biases 监控训练过程，可在 CPU 上运行，GPU 用户可将 main.py 中 device_map 改为 auto 提速。文中指出从零预训练成本可达数十万美元、耗时数周甚至数月。
来源：GitHub · 去对齐工具与仓库 · github.com