macMLX 发布:基于 Apple MLX 的原生 macOS 本地 LLM 推理应用
magicnight 在 GitHub 发布 macMLX,一款基于 Apple MLX 的原生 macOS LLM 推理应用,提供 SwiftUI GUI、CLI 和常驻 OpenAI 兼容 API,约 50 MB 且全程无 Python。截至 v0.9 支持文本加 16 种 VLM 架构(最大约 70B)、分层 KV 缓存、连续批处理、投机解码、LoRA、MCP server、语音转文字与合成及 /v1/rerank,并以纯 Swift 移植了 DeepSeek V3.2 等架构,与 Python 参考实现按 1e-4 精度校验一致。项目与 LM Studio、Ollama、oMLX 逐项对比,称其独有 Swift 进程内引擎;DMG 尚未公证,首次启动需 xattr 清除 Gatekeeper 隔离。
推荐理由:原文给出与 LM Studio、Ollama、oMLX 的逐项功能对比和版本演进明细,可看出纯 Swift 无 Python 方案在 macOS 本地推理中的取舍。