GitHub · 灵魂体仓库·· 18 小时前AI 评分42
llm-router：统一 OpenAI 兼容接口的本地多引擎推理网关
smashdog/llm-router
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/smashdog/llm-router
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
llm-router 是一个本地推理网关，对外提供统一的 OpenAI 兼容接口，同时管理 llama.cpp、Strata、KVMem、NInfer 与 KVMem + llama.cpp 五类后端，并按请求的模型自动启停和切换引擎。同一时间只保留一个引擎和一个模型，切换期间到达的请求会排队等待而非直接失败，空闲时可手动卸载以释放显存。管理页支持引擎更新、HTTP/SOCKS5 代理、多来源模型下载与采样参数配置。
来源：GitHub · 灵魂体仓库 · github.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。