GitHub · 灵魂体仓库·· 10 天前精选AI 评分73
hranicka 开源 llm-gateway：按需切换本地模型后端的 OpenAI 兼容代理
hranicka/llm-gateway
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/hranicka/llm-gateway
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
hranicka 在 GitHub 发布 llm-gateway，一个 OpenAI 与 Anthropic 兼容的代理，按请求中的 model 字段按需启动和关闭本地模型后端，用顺序切换解决消费级显卡 VRAM 只能装一个量化模型的问题。它支持 /v1/chat/completions、/v1/messages、/v1/responses、图像生成与编辑端点，可代理 llama-server、vLLM、ExLlamaV3、sd-server、ComfyUI 等后端，并利用 ROCm/CUDA/Metal 编译目标与 flash attention 等原生运行时参数。
推荐理由
作者给出了单槽 VRAM 下按需切换模型后端的具体做法，并附 EXL3 与 GGUF 的实测速度和困惑度对比数据。
来源：GitHub · 灵魂体仓库 · github.com