GitHub · 灵魂体仓库·· 18 天前AI 评分32
Kionga 开源 trace-proxy:LLM 调用代理并发布调用追踪到 Kafka
kiongahq/trace-proxy
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kiongahq/trace-proxy
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上的 trace-proxy 是 Kionga 的 LLM 出口代理,Agent 将 LLM 调用指向它,由其转发到配置的上游(托管服务商或 vLLM 等自托管服务器),并把包含 prompt、响应、耗时、token 用量及 agent 名称版本的追踪发布到 Kafka,无需改动 agent 代码。它提供 OpenAI 兼容 API,服务商密钥仅存于代理环境、不出现在追踪和日志中。默认监听端口 8081,镜像发布于 ghcr.io/kiongahq/trace-proxy。
来源:GitHub · 灵魂体仓库 · github.com