GitHub · 灵魂体仓库·· 21 天前AI 评分49
LLMServingSim：KAIST 开源的异构与分离式 LLM 服务基础设施统一模拟器
casys-kaist/LLMServingSim
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/casys-kaist/LLMServingSim
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
KAIST 的 LLMServingSim 是面向 LLM 服务基础设施的周期级模拟器，结合模拟 vLLM continuous-batching 调度器的 Python 前端与 ASTRA-Sim C++ 网络后端，可端到端研究异构加速器、CPU/CXL/PIM 分离式内存、MoE 路由、投机解码及 TP/PP/EP/DP 并行。
来源：GitHub · 灵魂体仓库 · github.com