跳到正文
GitHub · 灵魂体仓库·· 12 天前精选AI 评分55

pavsefcik 发布 marv-mlx:Apple Silicon 上的 MLX 本地大模型启动器

pavsefcik/marv-mlx

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/pavsefcik/marv-mlx

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

pavsefcik 在 GitHub 发布 marv-mlx,一个面向 Apple Silicon 的 zsh 启动器,可浏览、下载和运行本地 MLX 大模型,并在 localhost:11500 提供 OpenAI 兼容 REST 端点。安装脚本无需 Xcode Command Line Tools 或 Homebrew,一行命令完成;TUI 支持多模型并行运行、思考开关和聊天历史,命令行子命令带 --json 输出和稳定退出码便于脚本调用。内置的流式 MoE 引擎按需从 SSD 读取路由专家并配合有界 LFU 缓存(默认 6 GiB),使 ~35B 的 Qwen3.6 MoE 模型可在小内存设备上运行;前缀缓存默认开启以加速多轮对话,当前版本为 0.141.0。

推荐理由

作者发布了自家的 MLX 本地模型管理器,一行安装即可在 Apple Silicon 上浏览下载运行模型并提供 OpenAI 兼容端点。

来源:GitHub · 灵魂体仓库 · github.com