arXiv · cs.AI· Zongqi Wang·· 1 天前精选AI 评分56
SocialArena 基准提出三层框架评估大语言模型社交智能
SocialArena: Evaluating Social Intelligence in Large Language Models
来源与原文
arXiv · cs.AI
作者:Zongqi Wang
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.39247v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者发布 SocialArena 基准,用统一三层框架从角色扮演能力、心理状态推理和行为推理三个维度定义并评估 LLM 的社交智能。配套 U-TRIMF 框架合成覆盖广泛的社交场景,投入 $132.4K 招募并培训人工标注者,采用 arena 式人工偏好标注协议提供比较标签与自然语言批评。论文被 EMNLP 2026 接收为 oral。
推荐理由
该基准把社交智能拆成角色扮演、心理状态推理和行为推理三层,并用十三万美元级人工标注保证评测可靠性,方法可直接迁移。
来源:arXiv · cs.AI · arxiv.org