密歇根大学研究:行为历史最能帮助LLM模拟真实人
先了解这件事
密歇根大学 Foreseer 实验室的 Owen Yang、Jin Huang 与 Qiaozhu Mei 发布 behavior-input-systems 研究,在十个公开数据集约 16,000 人-问题对、24 万次模型调用上,用 Gemini 3.5 Flash 比较无描述、人口统计画像、问卷得分、行为历史和拟合类型向量五种人物描述方式对 LLM 模拟个人回答的效果。核心结论是提供个人过往行为历史在全部十个数据集上效果最好,比无描述高 3 到 27 个百分点;人口统计画像通常接近无用,有时反而降低准确率;无描述时模型几乎给所有人同一个答案,任何基于行为的描述都能恢复接近真实的答案分布。 研究局限包括只用了一个模型(Gemini 3.5 Flash),每个数据集取相同的 1,000 人和每人同一道问题。后续实验还发现,在提示词中加入同题目的群体回答率可提升 1 到 11 个百分点,但该方法无法迁移到新问题。
AI 根据报道生成 · 7 天前更新
报道时间线
沿着报道,了解事件的不同侧面。
- GitHub · 灵魂体仓库精选密歇根大学 Foreseer 实验室比较五种人物描述方式对大模型模拟个人回答的效果
Owen Yang 与密歇根大学 Foreseer 实验室的 Jin Huang、Qiaozhu Mei 发布 behavior-input-systems 研究,比较无描述、人口统计画像、问卷得分、行为历史和拟合类型向量五种描述方式,用 Gemini 3.5 Flash 在十个公开数据集约 16,000 人-问题对、24 万次模型调用上测试。核心发现是个人过往行为历史在全部十个数据集上效果最好,比无描述高 3 到 27 个百分点;人口统计画像通常接近无用,有时反而降低准确率;无描述时模型几乎给所有人同一个答案,任何基于行为的描述都能恢复接近真实的答案分布。后续实验还表明,在提示词中加入同题目的群体回答率可提升 1 到 11 个百分点,但该方法无法迁移到新问题。