跳到正文
GitHub · 灵魂体仓库·· 15 天前精选AI 评分74

airgpt 开源:一条命令在 Apple Silicon Mac 上从零训练并对话自己的小模型

navthings/airgpt

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/navthings/airgpt

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者 navthings 发布 airgpt 仓库,一条命令在 Apple Silicon Mac 上完成下载TinyStories/Cosmopedia数据、训练 byte-level BPE tokenizer、预训练 llama 风格小模型并教它聊天,只用 MLX,无需 CUDA 或云端。作者在 MacBook Air(M5, 16GB)上用 hour preset 训练 8M 参数模型 1 小时、55M tokens,val loss 从 2 分钟的 4.09 降到 46 分钟的 2.27,全程热状态保持 nominal,速度约 20k tokens/s,训练后能写出句子并回答提问但会编造事实。

推荐理由

作者公开了在无风扇 MacBook Air 上从零训练小模型的全流程与实测数据,val loss 下降和对话样例都可对照复现。

来源:GitHub · 灵魂体仓库 · github.com