热点事件持续更新

llm-router 本地推理网关发布

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

smashdog 发布 llm-router，一个本地推理网关，对外提供统一的 OpenAI 兼容接口，同时管理 llama.cpp、Strata、KVMem、NInfer 与 KVMem + llama.cpp 五类后端，并按请求的模型自动启停和切换引擎。同一时间只保留一个引擎和一个模型，切换期间到达的请求会排队等待而非直接失败，空闲时可手动卸载以释放显存。网关要求 Python 3.10+，默认监听 0.0.0.0:8080，控制台为 /，聊天 UI 为 /ui。首次启动会在当前目录自动生成不含引擎的最小 config.json，控制台显示“未配置引擎”引导，进入管理页“引擎”页填写启动路径即可，无需重启网关；设置 ROUTER_PYTHON 指定其它解释器时不创建 venv、不自动安装。管理页还支持引擎更新、HTTP/SOCKS5 代理、多来源模型下载与采样参数配置。

AI 根据报道生成 · 17 小时前更新

最新进展11月7日 00:29

llm-router：统一 OpenAI 兼容接口的本地多引擎推理网关

报道时间线

沿着报道，了解事件的不同侧面。

11月7日

00:29
GitHub · 灵魂体仓库
llm-router：统一 OpenAI 兼容接口的本地多引擎推理网关
llm-router 是一个本地推理网关，对外提供统一的 OpenAI 兼容接口，同时管理 llama.cpp、Strata、KVMem、NInfer 与 KVMem + llama.cpp 五类后端，并按请求的模型自动启停和切换引擎。同一时间只保留一个引擎和一个模型，切换期间到达的请求会排队等待而非直接失败，空闲时可手动卸载以释放显存。管理页支持引擎更新、HTTP/SOCKS5 代理、多来源模型下载与采样参数配置。

本事件热度走势

可比范围当前: 6
可比范围峰值: 1011月7日 01:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。