跳到正文
热点事件持续更新

开源本地代理 SafeAgents 发布,拦截检查编码 Agent 的工具调用

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 u/HauntingMoment 发布了开源工具 SafeAgents(Apache 2.0),一个部署在编码 Agent 与模型服务器之间的本地代理,在 harness 收到前检查模型响应中的每个工具调用;被标记的调用会被替换为纯文本通知而不执行。 检查分三层:两项本地检查(工具是否由 harness 声明、调用是否指向对话中未出现过的主机)、u/evalstate 的 atif-scan(约 110 个进程内确定性检测器,覆盖沙箱侧信道、代理与网络绕过、命名空间逃逸和 reward hacking,例如 curl 访问云 metadata 端点或读取 /proc/1/environ),以及可选的 OpenAI 兼容 judge 模型(可经 llama.cpp 本地运行,只能增加拦截不能撤销,仅对已触发告警的调用调用)。发布者称所有检查都在本机运行,代理只向用户已使用的模型服务器转发流量,除非把 judge 指向远程服务器,否则不会把提示、代码或工具调用发往别处。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. Reddit · r/LocalLLaMA精选
    SafeAgents 开源代理:在工具调用运行前逐一检查编码 Agent 的每步调用

    SafeAgents 是一个 Apache 2.0 开源本地代理,部署在编码 Agent 与模型服务器之间,在 harness 收到前检查每个工具调用,被标记的调用会被替换为纯文本通知而不执行。它对每个调用做最多三层检查:两项本地检查(工具是否由 harness 声明、调用是否指向对话中未出现过的主机)、u/evalstate 的 atif-scan(约 110 个进程内确定性检测器,覆盖沙箱侧信道、代理与网络绕过、命名空间逃逸和 reward hacking,如 curl 访问云 metadata 端点或读取 /proc/1/environ),以及可选的 OpenAI 兼容 judge 模型(可经 llama.cpp 本地运行,只能增加拦截不能撤销)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。