GitHub · 灵魂体仓库·· 20 天前精选AI 评分63
engine-mlx:基于 Rust 与 Apple MLX 的本地推理引擎发布
dangranaz/engine-mlx
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/dangranaz/engine-mlx
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
dangranaz 发布 engine-mlx,一个用 Rust 基于 Apple MLX C API 编写的 Apple Silicon 本地 LLM 推理引擎,提供 OpenAI 兼容 HTTP API 与 SSE 流式输出。引擎在 temperature 0 下与 mlx_lm 逐 token 一致,已验证 Qwen3-0.6B 与 1.7B 的 4-bit/8-bit MLX 格式;MacBook Air M1 16GB 上 Qwen3-1.7B-MLX-4bit 生成速度约 34-41 t/s,绝对吞吐仍低于 mlx_lm,作者归因于 kernel 效率差距。项目附带可复现基准,采用 MIT 许可证,开发过程主要由 AI 编码智能体在可验证的验收标准下完成。
推荐理由
作者给出与 mlx_lm 逐 token 一致的验证方法和可复现基准,读者可在自己的 Mac 上核验性能而非只听宣传。
来源:GitHub · 灵魂体仓库 · github.com