ferrum-infer-rs 发布单二进制 Rust LLM 推理引擎并提供 OpenAI 兼容服务

ferrum-infer-rs 发布 Rust LLM 推理引擎，单个二进制内置 OpenAI 兼容服务器，无需 Python 运行时，目标是满足 TTFT、TPOT、ITL 尾延迟 SLO 下最大化输出吞吐。支持 macOS Metal、Windows CUDA sm89、Linux CUDA，支持 Llama、Mistral、Qwen2/Qwen3/Qwen3.5、Gemma 3 等 GGUF 与 SafeTensors 权重。RTX 5090 实测 Qwen3.8-27B GGUF Q4_K_M 32 并发下达 666.24 tok/s，为 llama.cpp 的 152.96%；compressed-tensors INT4 相比 vLLM 0.31 为 80.84%，部分测试格未过延迟 SLO。