GitHub · 去对齐工具与仓库·· 18 小时前AI 评分47
lyftium/agent-gateway-stack:OpenAI 兼容 AI 网关与受限工具调用智能体
lyftium/agent-gateway-stack
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/lyftium/agent-gateway-stack
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
lyftium/agent-gateway-stack 提供两个小型服务:一个 OpenAI 兼容网关(按 key hash 鉴权、租户配额、故障转移、流式透传、指标,日志不含提示词文本)和一个只能调用白名单工具的智能体,带副作用的调用需等待一次审批。在本地 Kind 集群对 mock 模型测试中,网关中位开销约 1.5 ms(并发 1),流式字节原样转发使并发 8 时新增延迟减半、吞吐约翻倍。OpenShift 文件已备好但尚未在真实 GPU 集群应用,也未做真实模型的工具调用准确率评测。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。