跳到正文
GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分69

vLLM Metal 插件发布,用 MLX 在 Apple Silicon 上跑大模型推理

vllm-project/vllm-metal

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vllm-project/vllm-metal

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

vllm-project 发布 vLLM Metal 插件,让 vLLM 通过 MLX 作为主要计算后端在 Apple Silicon Mac 上运行大模型推理,统一 MLX 与 PyTorch 的 lowering 路径。v0.2.0 将统一 paged varlen Metal kernel 设为默认注意力后端,相比 v0.1.0 TTFT 提升 83x、吞吐提升 3.6x;2026/08 起利用 M5 NAX tensor 单元加速 MHA、GQA、MQA prefill,并支持 Qwen3.8(mlx-community/Qwen3.8-27B-8bit 可在单台 Apple Silicon 上运行 27B 混合 SDPA + GDN 线性模型)。

推荐理由

vLLM 官方插件让大模型在 Apple Silicon 上跑推理,给出了 v0.2.0 相对 v0.1.0 的 TTFT 和吞吐提升数据,可作本地部署参考。

来源:GitHub · 去对齐工具与仓库 · github.com