跳到正文
GitHub · 灵魂体仓库·· 13 天前精选AI 评分62

LoRA 微调教学仓库:在笔记本上教 Qwen2.5-0.5B-Instruct 学猫语气

LeeGyeongPil/ai-lab-lora-finetune

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/LeeGyeongPil/ai-lab-lora-finetune

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 仓库 ai-lab-lora-finetune 用 LoRA 在笔记本上微调 Qwen2.5-0.5B-Instruct,只训练 0.89% 参数(约 440 万个),适配器仅 17.6 MB,附一张 HTML 报告对比训练前后 6 个问题的回答,语气命中从 0/6 提升到 6/6。可用 uv run lora-demo --mock 约 6 秒离线跑通流程,实测在 Apple M3 上完整训练约 179 秒。作者明确指出 LoRA 只能改说话风格,不能让模型答对事实,训练后内容仍会出错。

推荐理由

仓库作者用笔记本实测 LoRA 微调小模型的完整流程和参数量对比,还如实指出只改说话风格、不改事实正确性的局限。

来源:GitHub · 灵魂体仓库 · github.com