Alibaba 开源 LLM 推理加速引擎 RTP-LLM（alibaba/rtp-llm）

RTP-LLM 是阿里巴巴基础模型推理团队开发的 LLM 推理加速引擎，已在淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE 和 Lazada 等业务中广泛使用。2025 年 9 月发布 0.2.0 版本，增强性能并新增功能；2025 年 1 月支持 Prefill/Decode 分离，并在 Yitian ARM CPU 上支持 Qwen 系列模型与 bert 嵌入模型。引擎采用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA kernel，支持 WeightOnly INT8/INT4 量化、自适应 KVCache 量化、Speculative Decoding，以及多机多 GPU 张量并行和单实例多 LoRA 服务。