GitHub · 去对齐工具与仓库·· 19 天前AI 评分31
LightLLM：Python 编写的高性能 LLM 推理与部署框架
ModelTC/LightLLM
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/ModelTC/LightLLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
LightLLM 是一个基于 Python 的 LLM 推理与部署框架，主打轻量设计、易扩展和高性能，吸收了 FasterTransformer、TGI、vLLM、FlashAttention 等开源实现的优点。其 v1.0.0 版本在单台 H200 机器上实现最快的 DeepSeek-R1 部署性能，最新 v1.1.0 已支持 DP rank 间的 Prefix KV Cache 传输。项目采用 Apache-2.0 许可证开源，相关论文被 ACL2025 和 ASPLOS'25 收录。
来源：GitHub · 去对齐工具与仓库 · github.com