GitHub · 灵魂体仓库·· 4 小时前AI 评分39
Sukami:纯 Go 编写的高性能 AI 网关与 Token 优化代理
alexpatil/sukami
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/alexpatil/sukami
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Sukami 是一个 OpenAI 兼容的 AI 网关,通过提示词剪枝减少 20–35% 的输入 token,并以内置 sub-10ms 语义向量缓存命中语义等价请求。它支持在 OpenAI、Groq、DeepSeek、OpenRouter 和 Ollama 之间智能路由,可将低复杂度查询导向 gpt-4o-mini 等经济型模型,降低 80–95% token 成本。基准测试显示比直连快 38.6%、省 35.6% token,每 10 万次查询约省 $750,项目以 MIT 协议开源,单二进制零运行时依赖。
来源:GitHub · 灵魂体仓库 · github.com