llminfra 自研 Rust 推理引擎对比 SGLang 基准数据，开源仓库准备中

steffi.ai 团队为本地多智能体平台打造了 Rust 推理引擎 llminfra，在 RTX PRO 6000 上与 SGLang 对比测试运行 Qwen。250K 上下文的 turn TTFT 为 108 ms vs 1,440 ms（13.4x），冷启动 6.1s vs 211.2s（34.8x）；32 个 agent 各 32K 上下文时吞吐 209 tok/s vs 95 tok/s（2.2x），峰值 VRAM 52.9 GiB vs 86.3 GiB。团队正在清理文档和构建脚本，即将公开仓库开源。