GitHub · 灵魂体仓库·· 20 天前AI 评分42
xLLM:面向国产 AI 加速器的高效 LLM 推理框架,已捐赠 OpenAtom 基金会
xLLM-AI/xllm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/xLLM-AI/xllm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
xLLM 是京东开源的高效 LLM 推理框架,专门针对国产 AI 加速器优化,已在京东核心零售业务规模化应用。该项目已于 2026-07-06 正式捐赠给开放原子(OpenAtom)基金会,并持续 day-0 支持 GLM-5.3-Flash、MiniMax-M3、DeepSeek-V4、GLM-5 等模型。框架采用服务与引擎解耦架构,基于 Mooncake 构建混合 KV cache 管理,支持 Ascend NPU、寒武纪 MLU、摩尔线程 MUSA S5000、海光 DCU 等多种硬件。
来源:GitHub · 灵魂体仓库 · github.com