GitHub · 去对齐工具与仓库·· 14 天前精选AI 评分62
doublewordai 开源 inference-lab：基于 roofline 模型模拟 GPU 集群推理服务
doublewordai/inference-lab
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/doublewordai/inference-lab
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
doublewordai 在 GitHub 开源 inference-lab，用离散事件模拟多 GPU 节点运行 vLLM 式调度与 KV cache 的 LLM 推理负载，按峰值 FLOP 算力和 HBM 带宽给每步计价，结果为理论硬件上界，用于比较不同配置的差值。
推荐理由
原文解释了模拟器以 roofline 上界为主、以配置间差值为核心读数的定位，可用于推理部署方案的横向比较。
来源：GitHub · 去对齐工具与仓库 · github.com