GitHub · 灵魂体仓库·· 17 天前AI 评分27
ATML PA2：LLM 后训练课程作业仓库 mbh2006/PA_2
mbh2006/PA_2
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/mbh2006/PA_2
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
这是 mbh2006 提交的 ATML PA2（LLM 后训练）课程作业完成版仓库，覆盖 DPO、PPO、GRPO 训练、安全评测（safety judge）以及 RLVR 与 RLAIF 对比评估五个任务。作者在 Tasks 1–3 中识别并修正了各含一处刻意设置的算法缺陷，例如 DPO logit 改为 policy_margin − ref_margin，并用 tests/test_objectives.py 的手算单元测试验证。参考环境固定为 Transformers 4.57.1、TRL 0.27.2、PEFT 0.17.1 和 Tokenizers 0.22.1。
来源：GitHub · 灵魂体仓库 · github.com