Reichman University 硕士论文对比 PTO 与 GRPO 前瞻奖励训练 Llama-3.2-1B 心理访谈模型

Lior Baruch 在 Reichman University 的硕士论文仓库中，比较前瞻奖励在 Preference Tree Optimization（PTO）与 GRPO 两种优化器下训练 Llama-3.2-1B 执行动机式访谈（MI）的效果。GRPO 在 K=5 前瞻视野下在全部八个评测量表上胜过 K=0（Wilcoxon 检验 p < .001），Q1+Q2 奖励从基线 3.01 提升到 4.52，且更多学到复杂反映而非空洞表扬，但对阻抗的说服式回应增至 39%；PTO 在 K=0 下更优且算力便宜得多（8.1/19.7 GPU 小时对 GRPO 的 27.9/51.2）。作者注明每配置仅一次训练、无人类评估等局限。