steffi.ai 公布 Rust 推理引擎 llminfra 对比 SGLang 基准数据，仓库即将开源

1. 06:27
   Reddit · r/LocalLLaMA

   llminfra 自研 Rust 推理引擎对比 SGLang 基准数据，开源仓库准备中

   steffi.ai 团队为本地多智能体平台打造了 Rust 推理引擎 llminfra，在 RTX PRO 6000 上与 SGLang 对比测试运行 Qwen。250K 上下文的 turn TTFT 为 108 ms vs 1,440 ms（13.4x），冷启动 6.1s vs 211.2s（34.8x）；32 个 agent 各 32K 上下文时吞吐 209 tok/s vs 95 tok/s（2.2x），峰值 VRAM 52.9 GiB vs 86.3 GiB。团队正在清理文档和构建脚本，即将公开仓库开源。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。