Reddit · r/LocalLLaMA· /u/ac101m·· 11 天前AI 评分45
开源反向代理：可按请求自动唤醒/关停本地 LLM 推理服务器
Reverse proxy for LLMs which can wake and/or shut-down your inference server in response to incoming requests
来源与原文
Reddit · r/LocalLLaMA
作者：/u/ac101m
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x71uju/reverse_proxy_for_llms_which_can_wake_andor/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户发布了一个面向 LLM 的反向代理项目，可在收到请求前自动唤醒推理服务器，并在长时间无请求后关机省电。它缓存 /v1/models 端点以避免 OpenWebUI 等客户端频繁唤醒机器，还支持配置检查登录用户的命令以防误关机。项目几乎全部由本地模型 vibe-coding 生成，作者称目前运行可靠，欢迎 PR。
来源：Reddit · r/LocalLLaMA · reddit.com