GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分74
streamweights 开源 spill 工具:在 48 GB Mac 上本地蒸馏 70B 模型
streamweights/streamweights
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/streamweights/streamweights
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
streamweights 发布开源工具 spill,可在 Mac 或 Linux 上本地微调和蒸馏比内存更大的 LLM,通过按层从磁盘流式读取全精度权重,让 48 GB MacBook 以满精度运行 141 GB 的 Llama 3.3 70B。实测在 M4 Pro 上用 500 条标注样本将 qwen2.5:0.5b 蒸馏出 banking77 分类模型,44 秒完成构建,成绩从基线 0.200 提升到 0.640。支持跨机器可移植的任务状态(s3:// 等路径)断点续跑,可通过 spill export 合并适配器并转 GGUF 供 Ollama 使用,数据不离开本机;目前 spill build 仅在 Apple silicon 上验证通过,NVIDIA CUDA 版待验证。
推荐理由
原文给出了在 48 GB MacBook 上流式运行 141 GB 模型并蒸馏出小模型的实测数据和耗时,方法可直接复用。
来源:GitHub · 去对齐工具与仓库 · github.com