GitHub · 灵魂体仓库·· 20 天前精选AI 评分60
MIT 团队发布 HugAgent 基准:评估大语言模型能否模拟具体个人的推理与信念更新
jajamoa/HugAgent
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jajamoa/HugAgent
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
MIT Media Lab 等机构在 EMNLP 2026 发布 HugAgent 基准,评估大语言模型能否仅凭本人访谈话语模拟具体个体的推理与信念更新,含信念状态推断(BSI)和信念动态更新(BDU)两个任务。基准基于 54 名参与者、3 个争议领域共 1,742 个条目,已以 gated、CC BY-NC 4.0 协议发布在 Hugging Face(social-atoms/hugagent)。结果显示模型较能恢复个体信念(最佳模型比人类上限低 7 至 9 分),但预测个体如何改变立场明显偏弱,最佳模型 68.6% 对人类的 85.7%,且该差距在所有被测模型家族中都存在。
推荐理由
基准测出模型能推断个体信念却难以预测其转变,榜单和评测脚本都开放,结果可直接复跑。
来源:GitHub · 灵魂体仓库 · github.com