跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分59

Sereno 开源:研究 prompt injection 与持久记忆中毒对编码 Agent 的影响

semihalkanli/sereno

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/semihalkanli/sereno

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Sereno 是一个 GitHub 仓库,研究 prompt injection 与持久记忆中毒如何影响长时程任务的编码 Agent,并构建 harness 层让 Agent 在攻击下仍能可靠完成任务。实验基于 DeepSWE 任务运行,每个 session 对应一个完整任务,通过 /memories 目录跨任务携带记忆;sereno context-eval 在仓库文件、命令输出和记忆文件中植入内容,对比 clean、carry、reset 和 ablation 各组,并可通过用户的 AGENT.md 修复被污染记忆,用任务自带 verifier 评分,报告暴露、攻击成功、任务成功与恢复等指标及区间估计。

推荐理由

原文给出了在 DeepSWE 任务上实测 prompt injection 与记忆中毒的实验设计,含对照组、恢复机制和成本记录方法。

来源:GitHub · 去对齐工具与仓库 · github.com