跳到正文
我的
热点事件持续更新

lyftium 发布 OpenAI 兼容网关与受限工具调用 Agent

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

lyftium 发布 agent-gateway-stack,包含两个小型服务:一个 OpenAI 兼容网关,按 key hash 鉴权、按租户配额、故障转移、流式透传并输出指标,日志不含提示词文本;一个只能调用白名单工具的智能体,带副作用的调用需等待一次审批,审批后由调用方重新提交,循环不会自动恢复。 据 lyftium 称,在本地 Kind 集群对 mock 模型测试中,网关并发 1 时中位开销约 1.5 ms,流式字节原样转发使并发 8 时新增延迟减半、吞吐约翻倍。配额按副本计,共享限流器(Limitador / Redis)尚待加入。 OpenShift 文件已备好但尚未在真实 GPU 集群应用,lyftium 称未对真实模型的工具调用准确率作出结论。

AI 根据报道生成 · 17 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月7日
  1. GitHub · 去对齐工具与仓库
    lyftium/agent-gateway-stack:OpenAI 兼容 AI 网关与受限工具调用智能体

    lyftium/agent-gateway-stack 提供两个小型服务:一个 OpenAI 兼容网关(按 key hash 鉴权、租户配额、故障转移、流式透传、指标,日志不含提示词文本)和一个只能调用白名单工具的智能体,带副作用的调用需等待一次审批。在本地 Kind 集群对 mock 模型测试中,网关中位开销约 1.5 ms(并发 1),流式字节原样转发使并发 8 时新增延迟减半、吞吐约翻倍。OpenShift 文件已备好但尚未在真实 GPU 集群应用,也未做真实模型的工具调用准确率评测。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月7日 01:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。