arXiv · cs.AI· Langxi Huang·· 21 天前AI 评分36
ChartBmkAgent 提出用 harness 治理的多智能体框架按错误分类学按需构建 Chart QA 基准
ChartBmkAgent: Harness-Governed Multi-Agent Construction of Chart QA Benchmarks from Sparse Error-Taxonomy Specifications
来源与原文
arXiv · cs.AI
作者：Langxi Huang
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.08106v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 ChartBmkAgent，可从稀疏的错误分类学规范出发，由中央 harness 治理多个专用智能体自动构建完整的 Chart QA 诊断样本，保留英文原名。在 300 个分类学样本上，多模态大模型准确率介于 32.7% 到 84.3%；定向跟进样本得分 50.0%，对照样本为 82.2%（p=8.96×10⁻⁶）。多个评估模型判定 86.4% 的样本确实测试了指定的错误类别。
来源：arXiv · cs.AI · arxiv.org