arXiv · cs.CL· Shimaa Ibrahim·· 20 小时前AI 评分27
超越关键词:阿拉伯语焦虑相关话语的人工标注基准
Beyond the Keyword: A Human-Annotated Benchmark for Arabic Anxiety-Related Discourse
来源与原文
arXiv · cs.CL
作者:Shimaa Ibrahim
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2611.07949v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
研究发布了一个包含 1,000 条阿拉伯语 Twitter/X 帖子的基准,这些帖子以关键词 qalaq(焦虑/担忧)检索并按六种话语功能标注。两名母语标注者独立标注的原始一致率为 51.1%(Cohen's κ = 0.378),复核全部 489 处分歧与 511 处一致后修改了 120 个一致标签(23.5%)。Fanar-C-2-27B 在该共识参考上达到 79.8% 准确率和 macro-F1 0.784(κ = 0.749),错误集中在定义不一致的残余类别(占错误 41.1%,precision 0.905、recall 0.447)。
来源:arXiv · cs.CL · arxiv.org
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。