跳到正文
GitHub · 去对齐工具与仓库·· 6 天前精选AI 评分71

ProvGuard 开源:用信息流控制防止不可信数据驱动 LLM Agent 的敏感工具调用

ziko-asm/provguard

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ziko-asm/provguard

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布开源工具 ProvGuard,借鉴信息流控制思路,通过追踪工具参数的来源可信度而非检测恶意文本来防御提示词注入,并附在线演示站点。在 AgentDojo 无模型回放中,四个套件的攻击拦截率为 66%–100%;本地 Qwen3 8B 实测 banking 套件 48 次攻击全部拦截(无防御时 33% 被攻破),实用性无明显下降。作者同时说明代价:用户把选择权交给不可信内容的合法任务会被拦截需确认,并指出按值匹配而非 token 级追踪、自由文本参数不受约束等局限。

推荐理由

原文给出无模型回放与本地 Qwen3 8B 实测的攻防数据,并坦陈误拦合法任务的代价与局限,便于评估该方案是否适用。

来源:GitHub · 去对齐工具与仓库 · github.com