BAIT:LLM 能否识别影响读者的认知偏差触发器?新闻认知偏差触发器评测基准
研究者推出 BAIT(Bias Annotation In Text)新闻认知偏差触发器评测基准,包含九类触发器的标注规范和 50 篇由训练有素的标注者在文章与片段层面标注的英文新闻文章,并定义触发器检测与片段定位两项任务。对六个前沿 LLM 的 zero-shot 及 3 或 10 个 in-context 示例测试显示:模型在判断文章含哪些触发器上接近人类一致性,但定位相关片段不足人类一致性的一半,且倾向依据表面线索过度预测触发器,表明模型响应的是表面特征而非操纵机制。相关 schema、codebook、标注与评测流程已开源。