跳到正文
GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分78

gmlx 发布:在 Apple Silicon 上更快运行 GGUF 模型的本地推理平台

asher/gmlx

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/asher/gmlx

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

gmlx 是一个面向 Apple Silicon 的本地推理平台,用 mlx-kquant 的 Metal 内核原样运行社区 K-quant 和 IQ-quant GGUF 文件,支持终端/浏览器聊天、OpenAI 与 Anthropic 兼容 API、语音、LoRA 微调和连接 pi 编码智能体。在 M5 Max 上同一文件 prefill 速度在所有基准模型和各上下文深度均快于 llama.cpp,双引擎开启 speculative decoding 后解码也更快,长上下文差距最大;MoE 模型超出内存时可从磁盘流式加载专家。需 macOS 26.2+,可经 brew install asher/gmlx/gmlx 安装,示例模型 Qwen3.8-27B UD-Q6_K 为 20.5 GB 下载。

推荐理由

原文给出了与 llama.cpp 的 prefill 和解码对比数据,并说明长上下文差距最大,读者可据此评估是否换用。

来源:GitHub · 去对齐工具与仓库 · github.com