GitHub · 灵魂体仓库·· 5 天前精选AI 评分69
omni-api 发布：把聊天、决策、嵌入、图像、视频、语音等本地模型统一到一个端口
nvkudva/omni-api
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/nvkudva/omni-api
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
nvkudva 发布开源 CLI 工具 omni，在 127.0.0.1:10000 用一个网关统一运行和代理本地模型，应用按 chat、decide、embed、image、video、stt、tts 等角色调用而非模型名，兼容 OpenAI 格式，改 base_url 即可用 OpenAI SDK 接入。各角色独立进程运行并带健康检查与自动重启，空闲 10 分钟自动卸载模型，可钉住常驻；Apple Silicon 上 chat 约 140 tok/s（qwen2.5:3b）、warm embed 0.03–0.15 s、tts 约 12 倍实时，还附带浏览器 playground 可查看每角色的实时请求日志。
推荐理由
原文给出完整的架构说明、各角色默认模型与 Apple Silicon 实测数据，读者可以据此评估这套单端口本地推理网关是否值得部署。
来源：GitHub · 灵魂体仓库 · github.com