跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分32

Kionga 开源 trace-proxy:LLM 调用代理并发布调用追踪到 Kafka

kiongahq/trace-proxy

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/kiongahq/trace-proxy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 trace-proxy 是 Kionga 的 LLM 出口代理,Agent 将 LLM 调用指向它,由其转发到配置的上游(托管服务商或 vLLM 等自托管服务器),并把包含 prompt、响应、耗时、token 用量及 agent 名称版本的追踪发布到 Kafka,无需改动 agent 代码。它提供 OpenAI 兼容 API,服务商密钥仅存于代理环境、不出现在追踪和日志中。默认监听端口 8081,镜像发布于 ghcr.io/kiongahq/trace-proxy。

来源:GitHub · 灵魂体仓库 · github.com