sentinel-eval 离线测试套件演示向量库元数据过滤在 Agent 记忆写入路径上失效
Why vector DB metadata filters fail on agent memory write paths (0% raw leak vs 67% leak) reproducible offline test suite
来源与原文
Reddit · r/LocalLLaMA
作者:/u/ultraprogger
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xryzby/why_vector_db_metadata_filters_fail_on_agent/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
作者发布了开源测试套件 sentinel-eval(Apache-2.0),演示多租户 RAG 中 metadata 过滤在 Agent 写入路径上失效:直接 RAG 查询 0% 泄露,而 3 个 Agent 合成任务中有 2 个泄露敏感数据,暴露 6/18 个受限 canary。原因是 Chroma 与 LlamaIndex 场景下派生的摘要块写入共享集合时丢失 allowed_groups 等访问控制标签,而向量库无法在查询时评估动态权限 DAG,严格交集方案又会基本消灭多文档摘要的检索效用。套件含 23 个测试,用 mock 向量离线秒级运行,无需 API key,可 git clone 后用 uv run sentinel-eval live --framework chroma 复现。
作者用可离线复现的测试套件量化了 agent 写回共享记忆时的越权泄露比例,还解释了为何简单交集方案会杀死检索效用。
来源:Reddit · r/LocalLLaMA · reddit.com