跳到正文
Reddit · r/LocalLLaMA· /u/ultraprogger·· 13 天前精选AI 评分61

sentinel-eval 离线测试套件演示向量库元数据过滤在 Agent 记忆写入路径上失效

Why vector DB metadata filters fail on agent memory write paths (0% raw leak vs 67% leak) reproducible offline test suite

来源与原文

Reddit · r/LocalLLaMA

作者:/u/ultraprogger

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xryzby/why_vector_db_metadata_filters_fail_on_agent/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布了开源测试套件 sentinel-eval(Apache-2.0),演示多租户 RAG 中 metadata 过滤在 Agent 写入路径上失效:直接 RAG 查询 0% 泄露,而 3 个 Agent 合成任务中有 2 个泄露敏感数据,暴露 6/18 个受限 canary。原因是 Chroma 与 LlamaIndex 场景下派生的摘要块写入共享集合时丢失 allowed_groups 等访问控制标签,而向量库无法在查询时评估动态权限 DAG,严格交集方案又会基本消灭多文档摘要的检索效用。套件含 23 个测试,用 mock 向量离线秒级运行,无需 API key,可 git clone 后用 uv run sentinel-eval live --framework chroma 复现。

推荐理由

作者用可离线复现的测试套件量化了 agent 写回共享记忆时的越权泄露比例,还解释了为何简单交集方案会杀死检索效用。

来源:Reddit · r/LocalLLaMA · reddit.com