arXiv · cs.AI· Amir Sabbaghziarani·· 24 天前AI 评分40
Label Agreement Does Not Measure Authorization：智能体 LLM 流水线的标签授权问题研究
Label Agreement Does Not Measure Authorization
来源与原文
arXiv · cs.AI
作者：Amir Sabbaghziarani
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.04544v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
研究者构建并审计了一个用于标签本体与元数据协调的智能体 LLM 流水线，发现在 COBRE 和 FBIRN 两个神经影像数据集上，标签一致性无法衡量智能体是否有权提出标签等属性。向智能体展示上游提议仅使标签一致性从 0.857 升至 0.870，而对所采取行动的一致性却翻倍（0.409 至 0.830）；JSON 输出在一个模型 10%、另一个模型 33% 的用例上丢失必需字段。作者将三项属性分开测量并配以对照，使失败可见并可转交人工处理，代码已开源。
来源：arXiv · cs.AI · arxiv.org