GitHub · 灵魂体仓库·· 21 天前精选AI 评分74
oMLX：面向 Mac 优化的本地 LLM 推理引擎开源
jundot/omlx
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jundot/omlx
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
jundot 在 GitHub 开源了面向 Apple Silicon 优化的本地 LLM 推理引擎 oMLX，支持连续批处理与热内存加冷 SSD 的分层 KV 缓存，上下文中途变化时历史缓存仍可跨请求复用，并可通过菜单栏应用管理。
推荐理由
作者给出了自建推理引擎的分层 KV 缓存设计与实测数据，GLM-5.2 自定义内核下 prefill 提速约 30 倍，可作本地部署参考。
来源：GitHub · 灵魂体仓库 · github.com