GitHub · 灵魂体仓库·· 1 天前AI 评分34
llm-d 工作负载模拟器 llm-d-simul 开源上线：部署前对比 llm-d 路由与基础负载均衡
sue-kim/llm-d-simul
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sue-kim/llm-d-simul
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 开源了 llm-d 工作负载交互模拟器 llm-d-simul，让开发者在部署前对比基础负载均衡与 llm-d 路由的性能。性能估算来自 BLIS，支持 Llama 3.1 8B Instruct、Qwen 2.5 7B Instruct、Qwen3 14B 搭配 NVIDIA A100 80GB/H100/H200 共九种组合，可选 chat、摘要、代码生成、多轮 Agent 四类工作负载。本地运行需 Node.js 22.12+、Python 3.9+，支持 prefill/decode 分池、InfiniBand 400 Gb/s 等网络设置，无需 GPU 或下载模型权重。
来源：GitHub · 灵魂体仓库 · github.com