GitHub · 去对齐工具与仓库·· 20 天前AI 评分52
vLLM Semantic Router 开源仓库:为 agent harness 提供多模型统一路由 API
vllm-project/semantic-router
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vllm-project/semantic-router
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
vLLM Semantic Router 提供一个统一 API,让 agent harness 在多个模型间按策略选择或组合调用,harness 保留 agent loop、工具和任务状态,Router 在本地、私有和云端已配置的后端间路由。安装命令为 curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable,可通过 vllm-sr/auto 等公共模型 ID 接入,在线 playground 位于 https://app.vllm-sr.ai/playground。
来源:GitHub · 去对齐工具与仓库 · github.com