LF Labs 发布 memory-bench:衡量个人助手长期记忆安全性的黑盒基准
热点事件历史事件
LF Labs 发布 memory-bench:衡量个人助手长期记忆安全性的黑盒基准
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
LF Labs 发布 memory-bench,一个针对个人助手长期记忆的黑盒基准,除召回外还按需遗忘、渠道范围、注入污染、静默、归属和弃答等维度打分,并给出测试结果。 基准共 15 个领域 2,080 条探针,基于虚构用户 Joana Reis 六个月的 599 个会话,回答与评判分别固定用 claude-sonnet-5-5 和 claude-opus-5-5。一半用例为私有的 held-out 测试集。在 273 条测试用例上,Dawnmere 0.1.7 总分 60.9、安全分 68.4,Mem0 为 58.1 和 30.0;两者总分接近但失分方式相反:Mem0 召回更多(token 级召回 95.7% 对 69.6%),Dawnmere 泄漏更少(forget 泄漏 22.7% 对 68.2%)。
AI 根据报道生成 · 2 天前更新
最新进展11月11日 00:31
memory-bench 发布:衡量 AI 助手长期记忆安全性的黑盒基准报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- GitHub · 灵魂体仓库精选memory-bench 发布:衡量 AI 助手长期记忆安全性的黑盒基准
LF Labs 发布 memory-bench,一个针对个人助手长期记忆的黑盒基准,除召回外还按需遗忘、渠道范围、注入污染、静默、归属和弃答等维度打分,共 15 个领域 2,080 条探针,基于虚构用户 Joana Reis 六个月的 599 个会话,回答与评判分别固定用 claude-sonnet-5-5 和 claude-opus-5-5。一半用例为私有的 held-out 测试集,273 条测试用例上 Dawnmere 0.1.7 总分 60.9、安全分 68.4,Mem0 为 58.1 和 30.0,两者总分接近但失分方式相反:Mem0 召回更多(token 级召回 95.7% 对 69.6%),Dawnmere 泄漏更少(forget 泄漏 22.7% 对 68.2%)。