GroupAssistBench:首个基于真实群聊的AI记忆基准发布
热点事件观察中
GroupAssistBench:首个基于真实群聊的AI记忆基准发布
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
Zhanghao Hu 等作者发布 GroupAssistBench,这是首个基于真实群组对话与已部署群助手的记忆基准,覆盖 50 个群、80,299 条消息,标注成本超过 5.3 万美元。论文称其为首款此类基准。 基准分层评估两方面能力:记忆召回(L1)和无固定答案的记忆使用(L2),覆盖单源、分布式和冲突三类记忆。评测发现,最强记忆系统在召回上已接近全上下文输入的水平,但在记忆使用上差距明显。作者还提出两项改进——将检索到的记忆关联起来、把记忆事实绑定为回复约束,据称带来一致提升。
AI 根据报道生成 · 12 小时前更新
最新进展11月3日 21:23
GroupAssistBench 发布:基于真实群聊的记忆基准,测出会召回不等于会用报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · cs.CL精选GroupAssistBench 发布:基于真实群聊的记忆基准,测出会召回不等于会用
研究团队发布 GroupAssistBench,首个基于真实群聊与已部署群助手的记忆基准,覆盖 50 个群、80,299 条消息,标注成本超 $53K。基准分层评估记忆召回(L1)与无固定答案的记忆使用(L2),覆盖单源、分布式和冲突记忆(M1-M3)。评测显示最强记忆系统在召回上接近全上下文,但在使用上差距明显;将检索到的记忆关联并把记忆事实绑定为回复约束的两项改进带来一致提升。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 411月5日 03:00
- 近 24 小时变化
- –
0246
04:0006:0008:0010:0012:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。