哈佛MadSys实验室开源HybridInference LLM网关
热点事件持续更新
哈佛MadSys实验室开源HybridInference LLM网关
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
哈佛SEAS的MadSys实验室开源了HybridInference，一个自托管LLM网关，通过统一OpenAI兼容端点向团队提供vLLM、SGLang、Ollama及远程API等多种模型服务，采用MIT许可，并驱动其FreeInference服务。 其RouteWise路由器按用户设定的成本预算，基于各供应商价格与实测首token延迟求解线性规划选择供应商，并单独发布为llm-routewise库。供应商凭证、模型路由、路由权重及网关自身设置（SMTP、代理信任、告警等）均可在管理控制台编辑。项目附用户面板与快速上手流程，设计论文将发表于EuroSys '27。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 04:29
哈佛 MadSys 实验室开源 HybridInference 自托管 LLM 网关报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHub · 灵魂体仓库哈佛 MadSys 实验室开源 HybridInference 自托管 LLM 网关
哈佛 SEAS 的 MadSys 实验室开源了 HybridInference，一个自托管 LLM 网关，用统一 OpenAI 兼容端点向团队提供 vLLM、SGLang、Ollama 及远程 API 等多种模型服务。其 RouteWise 路由器按用户设定的成本预算，基于各供应商价格与实测首 token 延迟求解线性规划选择供应商，并以 MIT 许可单独发布为 llm-routewise 库；项目附用户面板、管理控制台与完整快速上手流程，设计论文将发表于 EuroSys '27。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。