arXiv · cs.CL· Johnny Alali·· 2 天前AI 评分33
评估 LLM 作为反言论质量评委对抗网络仇恨言论的能力
Evaluating LLMs as Judges of Counterspeech Quality Against Online Hate Speech
来源与原文
arXiv · cs.CL
作者：Johnny Alali
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.04627v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一项 arXiv 研究测试了 12 个不同规模和家族的开源权重 LLM，在 zero-shot、few-shot 和 chain-of-thought 提示下评估反言论（counterspeech）质量，涵盖相关性、连贯性、攻击性和适宜性四个维度。结果显示 LLM 与人类专家一致性较低：最佳配置 Qwen 2.5 72B 在连贯性上 pointwise 评估仅达 Cohen's κl=0.19、Spearman's ρ=0.42，pairwise 为 κ=0.25。将 pointwise 分数转换为 pairwise 标签可显著提升一致性（Qwen 2.5 72B 提升至 κ=0.35），且 LLM 之间的一致性（最高 κ=0.76）远高于与人类专家的一致性。
来源：arXiv · cs.CL · arxiv.org
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。