GitHub · 去对齐工具与仓库·· 20 天前AI 评分43
muksyed1/switchyard-llm-routing-aws：基于 NVIDIA Switchyard 的 LLM 多模型路由 PoC
muksyed1/switchyard-llm-routing-aws
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/muksyed1/switchyard-llm-routing-aws
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一个以纯代码构建的 LLM 请求路由 PoC：NVIDIA Switchyard 在 AWS EC2 上为 Ollama 部署的三个开源模型（NVIDIA Nemotron、Llama 3.2、Qwen3）提供 OpenAI 兼容端点，支持 auto 路由与 passthrough 路由。全栈用 Terraform 和 Ansible 配置，Prometheus 每 15 秒抓取指标并由 Grafana 可视化。实测显示 CPU 推理慢（256 token 约 70 秒，约 3-4 tokens/s），简单请求被路由到 llama3.2:3b。
来源：GitHub · 去对齐工具与仓库 · github.com