GitHub · 灵魂体仓库·· 12 天前AI 评分26
vvctort1/fine-tuning-llm:用 LoRA 微调 Qwen2.5-Coder-7B 做 Text-to-SQL
vvctort1/fine-tuning-llm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vvctort1/fine-tuning-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
该项目基于开源模型 Qwen2.5-Coder-7B(约 7.61B 参数,预训练超 5.5T tokens),用 LoRA 微调使其将企业业务术语翻译为 SQL 查询。LoRA 冻结原权重、仅训练约 0.25% 参数,最低需 20 GB VRAM。基线 Execution Accuracy 为 26.5%,训练 2 个 epoch(r=16)后提升,并配有 Gradio 界面支持上传 SQLite 数据库与聊天生成 SQL。
来源:GitHub · 灵魂体仓库 · github.com