GitHub · 灵魂体仓库·· 21 天前AI 评分18
liteng3159-netizen 开源 llm-alignment:GRPO 训练使 OLMo-2-1B 的 GSM8K 从 38.59 提升至 52.92
liteng3159-netizen/llm-alignment
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/liteng3159-netizen/llm-alignment
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 llm-alignment 项目实践 LLM 后训练与对齐,重点实现 GRPO,并对比 DPO 与 SFT:GRPO 基于 group-relative rewards 做强化学习,DPO 基于 chosen/rejected 偏好数据,SFT 基于 instruction-response 数据做监督微调。
来源:GitHub · 灵魂体仓库 · github.com