华为昇腾 910B2 上的 LLM 推理基础设施实验：holtwood/ascend-llm-infra-lab

GitHub 仓库 holtwood/ascend-llm-infra-lab 在 4× 华为昇腾 910B2（64GB HBM）单卡容器上开展 LLM 推理基础设施实验，围绕推理服务化、量化、调度特性与系统扩展性建立可量化、可复现的实验体系。实验部署三个 vLLM 副本分别承担源码实验、量化/MindIE 等方向，压测客户端使用 locust/vllm-bench 并通过负载均衡分发请求。