GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分64
Kottos AI 开源 llmbridge 亚毫秒级 OpenAI 兼容 LLM 网关
kottos-ai/llmbridge
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/kottos-ai/llmbridge
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Kottos AI 在 GitHub 开源了 C++ 编写的 LLM 网关 llmbridge(v0.53.0,Alpha,Apache 2.0),把 OpenAI 格式请求实时翻译为 Anthropic、Gemini、Cohere 等上游方言。README 给出第三方 ENTERPILOT 基准与自测数据:单核非流式约 84k RPS,100 RPS 下 p99 延迟 80 µs,对比 LiteLLM 1.95.0 的 87 ms(对 1.99 版约 300 倍);流式 16,384 并发流单 worker 交付 99.96% token。
推荐理由
这是一个开源的 C++ LLM 网关,附第三方基准和自测数据,读者可以对比各网关的延迟与吞吐后再决定是否采用。
来源:GitHub · 去对齐工具与仓库 · github.com