GitHub · 去对齐工具与仓库·· 6 天前同新闻AI 评分63
Kottos AI 开源 C++ LLM 网关 llmbridge，亚毫秒级翻译 OpenAI 与 Anthropic 等方言
ingtinger/AI-llm-transplot
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ingtinger/AI-llm-transplot
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Kottos AI 开源了 C++20 编写的亚毫秒级 LLM 网关 llmbridge，客户端以 OpenAI API 接入，网关将请求翻译为 Anthropic、Gemini、Cohere 等上游方言并翻译回响应。单核非流式吞吐约 84k RPS，1000 RPS 下 p99 低于 1ms；第三方基准中其单核开销 0.07ms，对比 LiteLLM 1.99.1 的 10.77ms。支持 OpenAI 与 Anthropic 间的流式 SSE、工具调用与 prompt caching 转发，默认构建无第三方运行时依赖，TLS 构建需 OpenSSL ≥ 3.0。
同一新闻，精选展示《Kottos AI 开源 llmbridge 亚毫秒级 OpenAI 兼容 LLM 网关》
来源：GitHub · 去对齐工具与仓库 · github.com