GitHub · 灵魂体仓库·· 15 天前精选AI 评分74
airgpt 开源:一条命令在 Apple Silicon Mac 上从零训练并对话自己的小模型
navthings/airgpt
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/navthings/airgpt
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者 navthings 发布 airgpt 仓库,一条命令在 Apple Silicon Mac 上完成下载TinyStories/Cosmopedia数据、训练 byte-level BPE tokenizer、预训练 llama 风格小模型并教它聊天,只用 MLX,无需 CUDA 或云端。作者在 MacBook Air(M5, 16GB)上用 hour preset 训练 8M 参数模型 1 小时、55M tokens,val loss 从 2 分钟的 4.09 降到 46 分钟的 2.27,全程热状态保持 nominal,速度约 20k tokens/s,训练后能写出句子并回答提问但会编造事实。
推荐理由
作者公开了在无风扇 MacBook Air 上从零训练小模型的全流程与实测数据,val loss 下降和对话样例都可对照复现。
来源:GitHub · 灵魂体仓库 · github.com