MIT 团队发布 HugAgent 基准:评估大语言模型能否模拟具体个人的推理与信念更新
MIT Media Lab 等机构在 EMNLP 2026 发布 HugAgent 基准,评估大语言模型能否仅凭本人访谈话语模拟具体个体的推理与信念更新,含信念状态推断(BSI)和信念动态更新(BDU)两个任务。基准基于 54 名参与者、3 个争议领域共 1,742 个条目,已以 gated、CC BY-NC 4.0 协议发布在 Hugging Face(social-atoms/hugagent)。结果显示模型较能恢复个体信念(最佳模型比人类上限低 7 至 9 分),但预测个体如何改变立场明显偏弱,最佳模型 68.6% 对人类的 85.7%,且该差距在所有被测模型家族中都存在。
推荐理由:基准测出模型能推断个体信念却难以预测其转变,榜单和评测脚本都开放,结果可直接复跑。