arXiv · cs.CL· Arun Josephraj Arokiaraj·· 11 天前AI 评分37
Annotrace：一个面向 Agent Trace 逐步骤标注的工作台
Annotrace: A Workbench for Step-Level Annotation of Agent Traces
来源与原文
arXiv · cs.CL
作者：Arun Josephraj Arokiaraj
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.23284v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Annotrace 是一个用于对 LLM Agent trace 进行步骤级标注的工作台，可读取 OpenTelemetry GenAI、LangSmith、Langfuse 等六种 trace 格式，把每次运行转成有序嵌套的步骤列表，并让前沿模型与人类按同一套 codebook 联合标注。在多智能体问答语料上，它精确复现了此前人工标注的 235 个标注单元；两个模型标注同一批 trace 时一致率达 91%（κ = 0.82）。
来源：arXiv · cs.CL · arxiv.org