跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分74

streamweights 开源 spill 工具:在 48 GB Mac 上本地蒸馏 70B 模型

streamweights/streamweights

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/streamweights/streamweights

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

streamweights 发布开源工具 spill,可在 Mac 或 Linux 上本地微调和蒸馏比内存更大的 LLM,通过按层从磁盘流式读取全精度权重,让 48 GB MacBook 以满精度运行 141 GB 的 Llama 3.3 70B。实测在 M4 Pro 上用 500 条标注样本将 qwen2.5:0.5b 蒸馏出 banking77 分类模型,44 秒完成构建,成绩从基线 0.200 提升到 0.640。支持跨机器可移植的任务状态(s3:// 等路径)断点续跑,可通过 spill export 合并适配器并转 GGUF 供 Ollama 使用,数据不离开本机;目前 spill build 仅在 Apple silicon 上验证通过,NVIDIA CUDA 版待验证。

推荐理由

原文给出了在 48 GB MacBook 上流式运行 141 GB 模型并蒸馏出小模型的实测数据和耗时,方法可直接复用。

来源:GitHub · 去对齐工具与仓库 · github.com