跳到正文
GitHub · 灵魂体仓库·· 20 天前AI 评分78

mlx-serve 发布:Apple Silicon 上的原生本地 LLM 与多媒体推理服务器

ddalcu/mlx-serve

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/ddalcu/mlx-serve

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 项目 mlx-serve 发布,它是用 Zig 编写的原生服务器,可在 Apple Silicon 上运行 MLX 格式模型和 HuggingFace 上的 GGUF 模型,无需 Python。它在 http://localhost:11234 同时提供 OpenAI、Anthropic 和 Ollama 兼容 API,支持 Claude Code、Cursor、Open WebUI 等客户端;还内置图像、视频、音乐、语音(含声音克隆)和 3D 生成。官方基准显示在相同 MLX 权重下解码速度比 LM Studio 快 26%。附签名公证的 macOS 菜单栏应用 MLX Core,支持聊天、agent 模式、MCP 工具调用和模型管理,需 macOS 26.2+,MIT 许可。

来源:GitHub · 灵魂体仓库 · github.com