GitHub · 灵魂体仓库·· 2 小时前AI 评分52
哈佛 MadSys 实验室开源 HybridInference 自托管 LLM 网关
HarvardMadSys/hybridInference
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/HarvardMadSys/hybridInference
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
哈佛 SEAS 的 MadSys 实验室开源了 HybridInference，一个自托管 LLM 网关，用统一 OpenAI 兼容端点向团队提供 vLLM、SGLang、Ollama 及远程 API 等多种模型服务。其 RouteWise 路由器按用户设定的成本预算，基于各供应商价格与实测首 token 延迟求解线性规划选择供应商，并以 MIT 许可单独发布为 llm-routewise 库；项目附用户面板、管理控制台与完整快速上手流程，设计论文将发表于 EuroSys '27。
来源：GitHub · 灵魂体仓库 · github.com