跳到正文
Reddit · r/LocalLLaMA· /u/HauntingMoment·· 2 小时前精选AI 评分69

SafeAgents 开源代理:在工具调用运行前逐一检查编码 Agent 的每步调用

SafeAgents: an open-source proxy that checks every tool call your coding agent makes before it runs

来源与原文

Reddit · r/LocalLLaMA

作者:/u/HauntingMoment

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xii45s/safeagents_an_opensource_proxy_that_checks_every/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

SafeAgents 是一个 Apache 2.0 开源本地代理,部署在编码 Agent 与模型服务器之间,在 harness 收到前检查每个工具调用,被标记的调用会被替换为纯文本通知而不执行。它对每个调用做最多三层检查:两项本地检查(工具是否由 harness 声明、调用是否指向对话中未出现过的主机)、u/evalstate 的 atif-scan(约 110 个进程内确定性检测器,覆盖沙箱侧信道、代理与网络绕过、命名空间逃逸和 reward hacking,如 curl 访问云 metadata 端点或读取 /proc/1/environ),以及可选的 OpenAI 兼容 judge 模型(可经 llama.cpp 本地运行,只能增加拦截不能撤销)。

推荐理由

原文给出了三项检查机制和每调用 10-20 ms 的本地开销细节,适合想在编码 Agent 前加工具调用防护的读者自行搭建。

来源:Reddit · r/LocalLLaMA · reddit.com