跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分52

Vineeth-4 开源 QLoRA 微调与量化全流程 Pipeline

Vineeth-4/llm-qlora-finetuning-pipeline

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Vineeth-4/llm-qlora-finetuning-pipeline

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Vineeth-4 在 GitHub 发布 llm-qlora-finetuning-pipeline,覆盖 QLoRA 微调、LoRA 合并、bitsandbytes/GGUF/AWQ 多后端量化、评测到 FastAPI + Gradio + Docker 部署的全流程,配置全部由 YAML 驱动。实测显示 Qwen2.5-1.5B-Instruct 可训练参数仅占 1.196%,适配器约 35.2 MB;QLoRA 微调后困惑度从 15.14 降到 7.49(−50.6%),GGUF Q4_K_M 产物相对 FP16 缩小 68%;CPU 实测还发现 bf16 半精度省内存 42% 但每 token 约慢 1.5 倍。

来源:GitHub · 灵魂体仓库 · github.com