跳到正文
我的
arXiv · cs.CL· Shimaa Ibrahim·· 20 小时前AI 评分27

超越关键词:阿拉伯语焦虑相关话语的人工标注基准

Beyond the Keyword: A Human-Annotated Benchmark for Arabic Anxiety-Related Discourse

来源与原文

arXiv · cs.CL

作者:Shimaa Ibrahim

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2611.07949v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

研究发布了一个包含 1,000 条阿拉伯语 Twitter/X 帖子的基准,这些帖子以关键词 qalaq(焦虑/担忧)检索并按六种话语功能标注。两名母语标注者独立标注的原始一致率为 51.1%(Cohen's κ = 0.378),复核全部 489 处分歧与 511 处一致后修改了 120 个一致标签(23.5%)。Fanar-C-2-27B 在该共识参考上达到 79.8% 准确率和 macro-F1 0.784(κ = 0.749),错误集中在定义不一致的残余类别(占错误 41.1%,precision 0.905、recall 0.447)。

来源:arXiv · cs.CL · arxiv.org

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。