mini-rsglang：受 mini-sglang 启发的 Rust 推理引擎，支持 Qwen3 与 GPT-OSS

mirthfulLee 发布 mini-rsglang，一个用 Rust 和 CUDA 从零实现的推理引擎，受 mini-sglang 启发，支持 Qwen3 dense/MoE 与实验性 GPT-OSS 模型，提供单 GPU 和 NCCL 张量并行执行、离线生成及 OpenAI 风格 HTTP API。项目支持连续批处理、chunked prefill、radix 前缀共享和分页 GQA，BF16 权重与 KV，实测 Qwen3-30B-A3B 在 TP 8、gpt-oss-120b 在单卡和 TP 2 上运行。