GitHub · 灵魂体仓库·· 5 天前精选AI 评分66
overbrainer 开源:命令行把大模型蒸馏成小模型并用 Axolotl 微调
nayrosk/overbrainer
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/nayrosk/overbrainer
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型:向父模型生成问题并收集带推理的回答,用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调,再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本,并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段,1.0 前小版本可能有破坏性变更。
推荐理由
从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完,还用胜负率和成本对比衡量孩子与父模型的差距。
来源:GitHub · 灵魂体仓库 · github.com