跳到正文
GitHub · 去对齐工具与仓库·· 20 天前AI 评分52

vLLM Semantic Router 开源仓库:为 agent harness 提供多模型统一路由 API

vllm-project/semantic-router

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vllm-project/semantic-router

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

vLLM Semantic Router 提供一个统一 API,让 agent harness 在多个模型间按策略选择或组合调用,harness 保留 agent loop、工具和任务状态,Router 在本地、私有和云端已配置的后端间路由。安装命令为 curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable,可通过 vllm-sr/auto 等公共模型 ID 接入,在线 playground 位于 https://app.vllm-sr.ai/playground。

来源:GitHub · 去对齐工具与仓库 · github.com