GitHub · 去对齐工具与仓库·· 18 天前AI 评分48
RapidLLM：开源 LLM 推理框架 rapid_llm 发布，支持张量/数据并行、量化与 CUDA Graph 加速
harleyszhang/rapid_llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/harleyszhang/rapid_llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
RapidLLM 是一个开源 LLM 推理框架，支持 continuous batching、张量与数据并行、INT8/FP8/INT4 量化权重以及可插拔的 Triton/CUDA kernel。模型注册表覆盖 LLaMA、Qwen2、Qwen3、Qwen3-MoE、LLaVA、Qwen3-VL 和 DeepSeek 系列，内置 Flash Attention3、Chunked Prefill、Prefix Caching、FP8 KV Cache、Fused MoE 等加速特性，并提供兼容 OpenAI 的 API Server。框架需要 Python 3.13 或更新版本，支持 CUDA 与 CPU 设备，安装与测试均通过 uv 完成。
来源：GitHub · 去对齐工具与仓库 · github.com