跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分64

Kottos AI 开源 llmbridge 亚毫秒级 OpenAI 兼容 LLM 网关

kottos-ai/llmbridge

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/kottos-ai/llmbridge

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Kottos AI 在 GitHub 开源了 C++ 编写的 LLM 网关 llmbridge(v0.53.0,Alpha,Apache 2.0),把 OpenAI 格式请求实时翻译为 Anthropic、Gemini、Cohere 等上游方言。README 给出第三方 ENTERPILOT 基准与自测数据:单核非流式约 84k RPS,100 RPS 下 p99 延迟 80 µs,对比 LiteLLM 1.95.0 的 87 ms(对 1.99 版约 300 倍);流式 16,384 并发流单 worker 交付 99.96% token。

推荐理由

这是一个开源的 C++ LLM 网关,附第三方基准和自测数据,读者可以对比各网关的延迟与吞吐后再决定是否采用。

来源:GitHub · 去对齐工具与仓库 · github.com