arXiv · cs.CL· Shivam Shukla·· 20 天前AI 评分50
RELATE：衡量大语言模型关系取向的评估框架
RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models
来源与原文
arXiv · cs.CL
作者：Shivam Shukla
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.09569v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者提出 RELATE，一个以人设条件化测量 LLM 关系取向的评估框架，区分将 AI 定位为持续支持来源的内向型（IF）语言与鼓励现实人际连结的外向支架型（OS）语言。框架将 76 个求助情境与 3 种模拟用户风格组合成 228 个评估刺激，对 7 个 LLM 各进行 6 轮助手对话，共产生 1,596 段对话和 69,194 句助手句子，用基于量表的 LLM 评判加二次评判评估。结果显示第 6 轮的 IF 句子比例高于第 1 轮，且犹豫、间接的用户得到的 OS 语言明显更少。
来源：arXiv · cs.CL · arxiv.org