热点事件观察中

研究：LLM评估反仇恨言论质量与人类专家一致性低

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Johnny Alali 等人在 arXiv 发布论文，测试 12 个不同规模和家族的开源权重 LLM 在 zero-shot、few-shot 和 chain-of-thought 提示下评估反仇恨言论（counterspeech）质量，涵盖相关性、连贯性、攻击性和适宜性四个维度。结果显示 LLM 与人类专家一致性较低：最佳配置 Qwen 2.5 72B 在连贯性 pointwise 评估上仅达 Cohen's κl=0.19、Spearman's ρ=0.42，pairwise 为 κ=0.25。研究发现两个改进方向：将 pointwise 分数转换为 pairwise 标签可显著提升一致性（Qwen 2.5 72B 提升至 κ=0.35）；而 LLM 之间的一致性（最高 κ=0.76）远高于其与人类专家的一致性，表明模型间趋同但与人类判断仍有差距。

AI 根据报道生成 · 11 小时前更新

最新进展11月3日 18:17

评估 LLM 作为反言论质量评委对抗网络仇恨言论的能力

报道时间线

沿着报道，了解事件的不同侧面。

11月3日

18:17
arXiv · cs.CL
评估 LLM 作为反言论质量评委对抗网络仇恨言论的能力
一项 arXiv 研究测试了 12 个不同规模和家族的开源权重 LLM，在 zero-shot、few-shot 和 chain-of-thought 提示下评估反言论（counterspeech）质量，涵盖相关性、连贯性、攻击性和适宜性四个维度。结果显示 LLM 与人类专家一致性较低：最佳配置 Qwen 2.5 72B 在连贯性上 pointwise 评估仅达 Cohen's κl=0.19、Spearman's ρ=0.42，pairwise 为 κ=0.25。将 pointwise 分数转换为 pairwise 标签可显著提升一致性（Qwen 2.5 72B 提升至 κ=0.35），且 LLM 之间的一致性（最高 κ=0.76）远高于与人类专家的一致性。

本事件热度走势

可比范围当前: 3
可比范围峰值: 411月5日 03:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。