自参照社会偏好：多智能体强化学习无需观察他人奖励即可学会合作

多智能体强化学习中，各智能体用自己的奖励模型评估他人观测到的转移，形成自参照社会偏好，无需访问他人私有奖励信号。在 Escape Room、Clean Up、Commons Harvest 三个序列社会困境中，智能体均学会合作行为，且常比获得真实奖励的智能体更公平地分配共同收益。不公平厌恶宜在奖励中结合价值前瞻整合，纯利他偏好则适合加权策略更新，部分可观测下策略更新方法仍能支持合作。