跳到正文
GitHub · 去对齐工具与仓库·· 19 天前AI 评分51

humpyard 开源:单个 Rust 二进制实现 LLM 请求智能路由网关

gschaetz/humpyard

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/gschaetz/humpyard

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布 humpyard(前身 switchyard-conductor),一个用 Rust 写的 LLM 网关,按 NVIDIA NeMo Switchyard 算法把请求路由到合适模型,支持 OpenAI Chat、OpenAI Responses 和 Anthropic Messages 三种协议。已实现 passthrough、random、stage_router 和 llm_classifier 路由、有序端点 failover、虚拟密钥、SQLite 用量账本与按密钥预算,项目处于 pre-alpha 阶段,Apache-2.0 许可,主页 https://humpyard.dev 。

来源:GitHub · 去对齐工具与仓库 · github.com