GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分79
Soup CLI 发布:一条命令完成 LLM 微调,8B 模型可在 4 GB 笔记本 GPU 上训练
MakazhanAlpamys/Soup
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/MakazhanAlpamys/Soup
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
开源工具 Soup 发布,用一条命令和一份 YAML 配置完成 LLM 微调与后训练,支持 SFT、DPO、GRPO 等任务,无需 SSH 或云服务。其层流式(layer streaming)功能在 RTX 3050 Laptop 4 GB 上以 QLoRA 训练 Llama-3.1-8B-Instruct,峰值显存 3.32 GB、119.6 tok/s,并在 H100 上以 113.00 tok/s 独立复现(均为 v0.72.2 测量,重测待 issue #361)。v0.75.0 修复 MLX 后端静默丢弃已验证配置项的问题,未知配置键现在会报错拒绝加载,验证损失开始被记录和展示,并要求 torch>=2.6.0。
推荐理由
原文给出层流式训练的实测数据与位精确性验证方法,读者可据此评估在 4 GB 显卡上微调 8B 模型的可行性。
来源:GitHub · 去对齐工具与仓库 · github.com