跳到正文
GitHub · 灵魂体仓库·· 21 天前AI 评分18

liteng3159-netizen 开源 llm-alignment:GRPO 训练使 OLMo-2-1B 的 GSM8K 从 38.59 提升至 52.92

liteng3159-netizen/llm-alignment

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/liteng3159-netizen/llm-alignment

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 llm-alignment 项目实践 LLM 后训练与对齐,重点实现 GRPO,并对比 DPO 与 SFT:GRPO 基于 group-relative rewards 做强化学习,DPO 基于 chosen/rejected 偏好数据,SFT 基于 instruction-response 数据做监督微调。

来源:GitHub · 灵魂体仓库 · github.com