跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分26

vvctort1/fine-tuning-llm:用 LoRA 微调 Qwen2.5-Coder-7B 做 Text-to-SQL

vvctort1/fine-tuning-llm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vvctort1/fine-tuning-llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

该项目基于开源模型 Qwen2.5-Coder-7B(约 7.61B 参数,预训练超 5.5T tokens),用 LoRA 微调使其将企业业务术语翻译为 SQL 查询。LoRA 冻结原权重、仅训练约 0.25% 参数,最低需 20 GB VRAM。基线 Execution Accuracy 为 26.5%,训练 2 个 epoch(r=16)后提升,并配有 Gradio 界面支持上传 SQLite 数据库与聊天生成 SQL。

来源:GitHub · 灵魂体仓库 · github.com