GitHub · 灵魂体仓库·· 18 天前AI 评分50
digitalservicebund experimental-llm 项目文档:用 Ansible 在 Ubuntu 26.04 NVIDIA 服务器上部署 vLLM 与 LiteLLM Proxy
digitalservicebund/experimental-llm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/digitalservicebund/experimental-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
digitalservicebund 的 experimental-llm 仓库文档说明如何用 Ansible 在 Ubuntu 26.04 NVIDIA 服务器上以原生 Python vLLM 部署 OpenAI 兼容 API,并可通过配置使用 Hugging Face 模型。前端由 LiteLLM Proxy(127.0.0.1:4000)负责认证与用量指标,Virtual Keys 存于 PostgreSQL,可撤销和轮换。Terraform 基础设施经 GitHub OIDC 由 GitHub Actions 执行,客户端通过 SSH 隧道访问代理。
来源:GitHub · 灵魂体仓库 · github.com