跳到正文
我的
热点事件观察中

论文比较LLM与人类"they"消歧标注:最佳模型超人类多数投票

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Carlos Hartmann 等人在 arXiv 发布论文,比较 73 名人类标注者与 40 多个 LLM 配置在 174 条 Reddit "they" 用例的指代消歧任务。结果显示最佳模型 Kimi K3 达到 94.5% 准确率,超过人类多数投票(86.2%)和前半人类均值(78.5%),仅低于最佳单人标注者(95.7%)。 研究认为 LLM 可支撑大规模语言学标注,但仍需人类批判性监督;数据与可复现代码已开源。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.CL
    谁是代词高手?比较 LLM 与人类在 "they" 指代消歧上的表现

    一项语言学标注研究比较 73 名人类标注者与 40 多个 LLM 配置在 174 条 Reddit "they" 用例的指代消歧任务。最佳模型 Kimi K3 达到 94.5% 准确率,超过人类多数投票(86.2%)和前半人类均值(78.5%),仅低于最佳单人标注者(95.7%)。研究认为 LLM 可支撑大规模标注,但需人类批判性监督;数据与可复现代码已开源。

本事件热度走势

可比范围当前
3
可比范围峰值
411月5日 03:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。