Vineeth-4 开源 QLoRA 微调到量化部署全流程仓库
热点事件历史事件
Vineeth-4 开源 QLoRA 微调到量化部署全流程仓库
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
开发者 Vineeth-4 在 GitHub 发布开源仓库 llm-qlora-finetuning-pipeline,提供从 QLoRA 微调、LoRA 合并、bitsandbytes/GGUF/AWQ 多后端量化、评测,到 FastAPI + Gradio + Docker 部署的完整流程,配置全部由 YAML 驱动,采用 MIT 许可证。 仓库默认使用小型训练子集,AWQ 量化已实现但默认关闭。作者实测 Qwen2.5-1.5B-Instruct:可训练参数仅占 1.196%,适配器约 35.2 MB;微调后困惑度从 15.14 降至 7.49(−50.6%),GGUF Q4_K_M 产物相对 FP16 缩小 68%;CPU 实测显示 bf16 半精度省内存 42%,但每 token 约慢 1.5 倍。
AI 根据报道生成 · 5 天前更新
最新进展11月10日 18:53
Vineeth-4 开源 QLoRA 微调与量化全流程 Pipeline报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- GitHub · 灵魂体仓库Vineeth-4 开源 QLoRA 微调与量化全流程 Pipeline
Vineeth-4 在 GitHub 发布 llm-qlora-finetuning-pipeline,覆盖 QLoRA 微调、LoRA 合并、bitsandbytes/GGUF/AWQ 多后端量化、评测到 FastAPI + Gradio + Docker 部署的全流程,配置全部由 YAML 驱动。实测显示 Qwen2.5-1.5B-Instruct 可训练参数仅占 1.196%,适配器约 35.2 MB;QLoRA 微调后困惑度从 15.14 降到 7.49(−50.6%),GGUF Q4_K_M 产物相对 FP16 缩小 68%;CPU 实测还发现 bf16 半精度省内存 42% 但每 token 约慢 1.5 倍。