跳到正文
GitHub · 灵魂体仓库·· 5 天前精选AI 评分66

overbrainer 开源:命令行把大模型蒸馏成小模型并用 Axolotl 微调

nayrosk/overbrainer

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/nayrosk/overbrainer

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型:向父模型生成问题并收集带推理的回答,用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调,再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本,并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段,1.0 前小版本可能有破坏性变更。

推荐理由

从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完,还用胜负率和成本对比衡量孩子与父模型的差距。

来源:GitHub · 灵魂体仓库 · github.com