GitHub · 去对齐工具与仓库·· 3 天前AI 评分45
llm-posttrain-lab：用 Qwen2.5-1.5B 实验演示 LLM 后训练中偏好对齐为何用 RL 而非 SFT/DPO
sinaghadermarzi/llm-posttrain-lab
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sinaghadermarzi/llm-posttrain-lab
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
开源实验项目 llm-posttrain-lab 基于 Qwen/Qwen2.5-1.5B 全量微调，对比 SFT、DPO、PPO、GRPO 在偏好对齐中的表现，训练栈为 TRL 1.7 + accelerate/DeepSpeed。实验覆盖 helpful 与 math 两条任务线，math 线在全部 1319 条 GSM8K 测试题上评估 pass@1/pass@8 与 KL，并追踪 DPO 训练中 chosen 回答 log-probability 下降等失效模式。
来源：GitHub · 去对齐工具与仓库 · github.com