跳到正文
GitHub · 去对齐工具与仓库·· 19 天前AI 评分27

vllm-project/vllm-ascend:在 Ascend NPU 上无缝运行 vLLM 的社区硬件插件

vllm-project/vllm-ascend

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vllm-project/vllm-ascend

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

vllm-ascend 是社区维护的 vLLM 硬件插件,遵循 Hardware pluggable RFC,让 Transformer、MoE、Embedding 及多模态 LLM 在 Ascend NPU 上无缝运行。最新候选版本为 v0.26.0rc1(2026/09),最新稳定版为 v0.23.0,要求 CANN 9.1.0、PyTorch 2.10.0 及 Python 3.10-3.12,采用 Apache 2.0 开源协议。

来源:GitHub · 去对齐工具与仓库 · github.com