Mirai 开源高性能推理引擎 uzu，支持应用内零延迟本地部署

trymirai 在 GitHub 开源了高性能推理引擎 uzu，主打在应用内直接部署 AI 模型，实现零延迟、数据完全私有且无推理成本。核心是 Rust 原生实现，通过 uniffi-rs、pyo3、napi-rs 提供 Swift、Python、TypeScript 绑定，支持 Metal 和 CPU 后端，利用 Apple 设备统一内存，示例覆盖流式对话、云端模型调用、共享实例复用、JSON 结构化输出和工具调用，并提供 OpenAI 兼容 HTTP 服务器与 CLI，采用 MIT 许可证。