跳到正文
GitHub · 灵魂体仓库·· 18 小时前精选AI 评分62

Rust 统一大模型接入层 aimux 发布 0.3.0,统一 327 个 provider 名称

arcships/aimux

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/arcships/aimux

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

arcships 发布 Rust 编写的统一大模型接入层 aimux 0.3.0,把各家 provider 的 HTTP API 收敛为单一 dyn LanguageModel 接口,覆盖 327 个 provider 名称、282 个 OpenAI 兼容预设,并提供 Node、Python、Go、Swift 等 8 种语言绑定。新版本支持请求录制重放、会话分组、RouterModel/MoaModel 组合模型和实时转写会话;与官方 OpenAI SDK 同机对比,单次请求 Node 快 14.7 倍、Python 快 7.5 倍,2000 请求压测下 Python 内存零增长。项目以 MIT 许可开源,测试用 2800+ cassettes 离线回放,无需网络和 API key。

推荐理由

原文给出了与官方 OpenAI SDK 同机对比的延迟、P99 和内存数据,以及录制重放等工程细节,方法可复现可迁移。

来源:GitHub · 灵魂体仓库 · github.com