跳到正文
arXiv · cs.AI· Zongqi Wang·· 1 天前精选AI 评分56

SocialArena 基准提出三层框架评估大语言模型社交智能

SocialArena: Evaluating Social Intelligence in Large Language Models

来源与原文

arXiv · cs.AI

作者:Zongqi Wang

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.39247v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究者发布 SocialArena 基准,用统一三层框架从角色扮演能力、心理状态推理和行为推理三个维度定义并评估 LLM 的社交智能。配套 U-TRIMF 框架合成覆盖广泛的社交场景,投入 $132.4K 招募并培训人工标注者,采用 arena 式人工偏好标注协议提供比较标签与自然语言批评。论文被 EMNLP 2026 接收为 oral。

推荐理由

该基准把社交智能拆成角色扮演、心理状态推理和行为推理三层,并用十三万美元级人工标注保证评测可靠性,方法可直接迁移。

来源:arXiv · cs.AI · arxiv.org