跳到正文
GitHub · 灵魂体仓库·· 18 天前精选AI 评分55

chendi-Shi/llm-posttraining:无 GPU 本机跑通 Qwen2.5-0.5B-Instruct 的 QLoRA SFT/DPO 后训练

chendi-Shi/llm-posttraining

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/chendi-Shi/llm-posttraining

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者在约 16 GB 内存、无独立 GPU 的本机上对 Qwen2.5-0.5B-Instruct 做 4-bit QLoRA SFT/DPO,完成中文结构化抽取与意图分类实验,数据采用 MASSIVE 中文子集。v6 混合系统严格实体 F1 为 62.59%,首次达到预设绝对 F1 ≥60% 门槛,但相对旧 v5 混合的配对 95% 区间为 −3.58 至 +7.19,未通过相对收益门槛;v3 DPO 将无槽失败从 126/167 降至 28/167 但阳性句 F1 下降。仓库公开复现命令、选择锁与失败报告,不含权重和逐题预测,结果定位为后训练研究而非可自动上线服务。

推荐理由

作者在 16 GB 无 GPU 本机上完整跑通 QLoRA SFT/DPO 并公开预设门槛、配对区间和失败记录,方法与边界都可复用。

来源:GitHub · 灵魂体仓库 · github.com