跳到正文
GitHub · 灵魂体仓库·· 19 天前精选AI 评分55

llm-powersaver-proxy:按需唤醒 Proxmox 虚拟机运行 Ollama 的异步反向代理

ThMadHatter/llm-powersaver-proxy

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ThMadHatter/llm-powersaver-proxy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ThMadHatter 在 GitHub 发布 llm-powersaver-proxy,一个运行在常开 LXC Debian 上的异步反向代理,可检测 Ollama/LiteLLM 端点状态并通过 Proxmox API 自动启动 VM/CT,支持 end-to-end 流式转发和可选 Wake-on-LAN。README 给出 LXC 创建、最小权限 Proxmox token 配置、安装验证、Nginx/Cloudflare 反向代理及 WOL 使用等完整步骤,并提醒勿暴露 8080 端口、为多 worker 需分布式锁。

推荐理由

原文给出从 LXC 创建、Proxmox 最小权限 token 到 Nginx/Cloudflare 流式排查的完整步骤,方法可直接照搬复现。

来源:GitHub · 灵魂体仓库 · github.com