跳到正文
GitHub · 灵魂体仓库·· 18 天前AI 评分50

digitalservicebund experimental-llm 项目文档:用 Ansible 在 Ubuntu 26.04 NVIDIA 服务器上部署 vLLM 与 LiteLLM Proxy

digitalservicebund/experimental-llm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/digitalservicebund/experimental-llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

digitalservicebund 的 experimental-llm 仓库文档说明如何用 Ansible 在 Ubuntu 26.04 NVIDIA 服务器上以原生 Python vLLM 部署 OpenAI 兼容 API,并可通过配置使用 Hugging Face 模型。前端由 LiteLLM Proxy(127.0.0.1:4000)负责认证与用量指标,Virtual Keys 存于 PostgreSQL,可撤销和轮换。Terraform 基础设施经 GitHub OIDC 由 GitHub Actions 执行,客户端通过 SSH 隧道访问代理。

来源:GitHub · 灵魂体仓库 · github.com