跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分68

macMLX 发布:基于 Apple MLX 的原生 macOS 本地 LLM 推理应用

magicnight/Mac-MLX

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/magicnight/Mac-MLX

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

magicnight 在 GitHub 发布 macMLX,一款基于 Apple MLX 的原生 macOS LLM 推理应用,提供 SwiftUI GUI、CLI 和常驻 OpenAI 兼容 API,约 50 MB 且全程无 Python。截至 v0.9 支持文本加 16 种 VLM 架构(最大约 70B)、分层 KV 缓存、连续批处理、投机解码、LoRA、MCP server、语音转文字与合成及 /v1/rerank,并以纯 Swift 移植了 DeepSeek V3.2 等架构,与 Python 参考实现按 1e-4 精度校验一致。项目与 LM Studio、Ollama、oMLX 逐项对比,称其独有 Swift 进程内引擎;DMG 尚未公证,首次启动需 xattr 清除 Gatekeeper 隔离。

推荐理由

原文给出与 LM Studio、Ollama、oMLX 的逐项功能对比和版本演进明细,可看出纯 Swift 无 Python 方案在 macOS 本地推理中的取舍。

来源:GitHub · 去对齐工具与仓库 · github.com