omni-api 发布:把聊天、决策、嵌入、图像、视频、语音等本地模型统一到一个端口
nvkudva 发布开源 CLI 工具 omni,在 127.0.0.1:10000 用一个网关统一运行和代理本地模型,应用按 chat、decide、embed、image、video、stt、tts 等角色调用而非模型名,兼容 OpenAI 格式,改 base_url 即可用 OpenAI SDK 接入。各角色独立进程运行并带健康检查与自动重启,空闲 10 分钟自动卸载模型,可钉住常驻;Apple Silicon 上 chat 约 140 tok/s(qwen2.5:3b)、warm embed 0.03–0.15 s、tts 约 12 倍实时,还附带浏览器 playground 可查看每角色的实时请求日志。
推荐理由:原文给出完整的架构说明、各角色默认模型与 Apple Silicon 实测数据,读者可以据此评估这套单端口本地推理网关是否值得部署。