arXiv · cs.AI· Sebastian-Antonio Toma·· 12 天前精选AI 评分52
FEB-30 基准重新审视 Agent 记忆评估，发现内在与外在评估平均偏差 16 个百分点
Beyond Downstream QA: Rethinking How We Evaluate Agent Memory
来源与原文
arXiv · cs.AI
作者：Sebastian-Antonio Toma
发布时间：（北京时间）
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.22209v1
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
论文提出 FEB-30 基准，指出以下游问答准确率评估 Agent 记忆会混淆记忆正确性与检索和生成质量，产生假阳性和假阴性。该基准包含 30 条事实演化轨迹、6 个诊断类别和 3 个难度级别，通过范式反转从已知事实轨迹生成文档，无需人工标注即可获得确定性真值。应用于一个代表性记忆系统后发现，内在与外在评估平均偏差 16 个百分点，44% 的轨迹超出显著偏差阈值，记忆操作分类正确率仅 20%，该失败对外在评估完全不可见。
推荐理由
论文指出问答准确率会掩盖记忆系统的内部错误，并给出可复现的内在评估基准，为记忆评测提供新方法。
来源：arXiv · cs.AI · arxiv.org