跳到正文
我的
GitHub · 去对齐工具与仓库·· 18 小时前AI 评分47

lyftium/agent-gateway-stack:OpenAI 兼容 AI 网关与受限工具调用智能体

lyftium/agent-gateway-stack

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/lyftium/agent-gateway-stack

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

lyftium/agent-gateway-stack 提供两个小型服务:一个 OpenAI 兼容网关(按 key hash 鉴权、租户配额、故障转移、流式透传、指标,日志不含提示词文本)和一个只能调用白名单工具的智能体,带副作用的调用需等待一次审批。在本地 Kind 集群对 mock 模型测试中,网关中位开销约 1.5 ms(并发 1),流式字节原样转发使并发 8 时新增延迟减半、吞吐约翻倍。OpenShift 文件已备好但尚未在真实 GPU 集群应用,也未做真实模型的工具调用准确率评测。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。