跳到正文
10月8日周四
  1. arXiv · cs.CL50

    RELATE:衡量大语言模型关系取向的评估框架

    研究者提出 RELATE,一个以人设条件化测量 LLM 关系取向的评估框架,区分将 AI 定位为持续支持来源的内向型(IF)语言与鼓励现实人际连结的外向支架型(OS)语言。框架将 76 个求助情境与 3 种模拟用户风格组合成 228 个评估刺激,对 7 个 LLM 各进行 6 轮助手对话,共产生 1,596 段对话和 69,194 句助手句子,用基于量表的 LLM 评判加二次评判评估。结果显示第 6 轮的 IF 句子比例高于第 1 轮,且犹豫、间接的用户得到的 OS 语言明显更少。