GitHub · 去对齐工具与仓库·· 19 天前精选AI 评分78
gmlx 发布:在 Apple Silicon 上更快运行 GGUF 模型的本地推理平台
asher/gmlx
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/asher/gmlx
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
gmlx 是一个面向 Apple Silicon 的本地推理平台,用 mlx-kquant 的 Metal 内核原样运行社区 K-quant 和 IQ-quant GGUF 文件,支持终端/浏览器聊天、OpenAI 与 Anthropic 兼容 API、语音、LoRA 微调和连接 pi 编码智能体。在 M5 Max 上同一文件 prefill 速度在所有基准模型和各上下文深度均快于 llama.cpp,双引擎开启 speculative decoding 后解码也更快,长上下文差距最大;MoE 模型超出内存时可从磁盘流式加载专家。需 macOS 26.2+,可经 brew install asher/gmlx/gmlx 安装,示例模型 Qwen3.8-27B UD-Q6_K 为 20.5 GB 下载。
推荐理由
原文给出了与 llama.cpp 的 prefill 和解码对比数据,并说明长上下文差距最大,读者可据此评估是否换用。
来源:GitHub · 去对齐工具与仓库 · github.com