GitHub · 去对齐工具与仓库·· 20 天前精选AI 评分69
vLLM Metal 插件发布,用 MLX 在 Apple Silicon 上跑大模型推理
vllm-project/vllm-metal
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/vllm-project/vllm-metal
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
vllm-project 发布 vLLM Metal 插件,让 vLLM 通过 MLX 作为主要计算后端在 Apple Silicon Mac 上运行大模型推理,统一 MLX 与 PyTorch 的 lowering 路径。v0.2.0 将统一 paged varlen Metal kernel 设为默认注意力后端,相比 v0.1.0 TTFT 提升 83x、吞吐提升 3.6x;2026/08 起利用 M5 NAX tensor 单元加速 MHA、GQA、MQA prefill,并支持 Qwen3.8(mlx-community/Qwen3.8-27B-8bit 可在单台 Apple Silicon 上运行 27B 混合 SDPA + GDN 线性模型)。
推荐理由
vLLM 官方插件让大模型在 Apple Silicon 上跑推理,给出了 v0.2.0 相对 v0.1.0 的 TTFT 和吞吐提升数据,可作本地部署参考。
来源:GitHub · 去对齐工具与仓库 · github.com