开源本地代理 SafeAgents 发布,拦截检查编码 Agent 的工具调用
先了解这件事
Reddit 用户 u/HauntingMoment 发布了开源工具 SafeAgents(Apache 2.0),一个部署在编码 Agent 与模型服务器之间的本地代理,在 harness 收到前检查模型响应中的每个工具调用;被标记的调用会被替换为纯文本通知而不执行。 检查分三层:两项本地检查(工具是否由 harness 声明、调用是否指向对话中未出现过的主机)、u/evalstate 的 atif-scan(约 110 个进程内确定性检测器,覆盖沙箱侧信道、代理与网络绕过、命名空间逃逸和 reward hacking,例如 curl 访问云 metadata 端点或读取 /proc/1/environ),以及可选的 OpenAI 兼容 judge 模型(可经 llama.cpp 本地运行,只能增加拦截不能撤销,仅对已触发告警的调用调用)。发布者称所有检查都在本机运行,代理只向用户已使用的模型服务器转发流量,除非把 judge 指向远程服务器,否则不会把提示、代码或工具调用发往别处。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选SafeAgents 开源代理:在工具调用运行前逐一检查编码 Agent 的每步调用
SafeAgents 是一个 Apache 2.0 开源本地代理,部署在编码 Agent 与模型服务器之间,在 harness 收到前检查每个工具调用,被标记的调用会被替换为纯文本通知而不执行。它对每个调用做最多三层检查:两项本地检查(工具是否由 harness 声明、调用是否指向对话中未出现过的主机)、u/evalstate 的 atif-scan(约 110 个进程内确定性检测器,覆盖沙箱侧信道、代理与网络绕过、命名空间逃逸和 reward hacking,如 curl 访问云 metadata 端点或读取 /proc/1/environ),以及可选的 OpenAI 兼容 judge 模型(可经 llama.cpp 本地运行,只能增加拦截不能撤销)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。