SOPO:用于片段级幻觉检测的苏格拉底引导策略优化
研究者提出多轮 RL 框架 SOPO,通过教师模型在 rollout 中依据 ground truth 提供间接提示的苏格拉底反馈机制,缓解片段级幻觉检测中的奖励稀疏问题,并以 Turn-based Advantage Scaling 惩罚冗长偏置。SOPO (4B) 在 RAGTruth 上达到 SOTA,超过 GPT-5 等专有模型和标准 RL 基线,在四个域外基准上的平均分高于 GRPO,与 CAPO 互有胜负。1.7B 和 4B 模型及训练、评估代码已开源。