mkorbi 开源自托管 LLM 容量规划器 ai-fit

mkorbi 在 GitHub 发布了 ai-fit，一个自托管 LLM 容量规划器，可选加速器、节点内互联与模型负载，估算可服务用户数、每用户上下文、tokens per second、TTFT、每百万 token 成本与功耗，也支持反向按用户数反推最小硬件配置。项目含像素风模拟器、vLLM/SGLang/TensorRT-LLM 引擎支持矩阵，模型条目用 Hugging Face config. 校验，并用 gpt-oss-120b 单卡 H100、Llama 3.3 70B 在 8× H100 约 1.3M KV tokens 等已发表数据做校准锚点，作者提醒输出只作量级估算。