Lumen：零 ML 依赖的 Rust 推理引擎发布，支持 Qwen3.5 系列在 CUDA 与 Apple Silicon 上 GPU 常驻推理

faisalmumtaz89 在 GitHub 发布 Rust 编写的 Lumen 推理引擎，单个二进制文件即可下载模型并 GPU 常驻推理，不依赖 PyTorch、ONNX 或 Python，使用原生 CUDA C 与 Metal 内核和自研 .lbc 模型格式。当前支持 Qwen3.5 与 Qwen3.8 的 dense 9B、dense 27B 和 MoE-35B-A3B，以及 Qwen-Image-2.1 文生图，提供 OpenAI 和 Anthropic 兼容的 SSE 流式接口；Qwen3.5-MoE 在 A100 上 Q8_0 解码速度 79.2 tok/s，约为 llama.cpp 的 0.567 倍。项目以 MIT 或 Apache-2.0 双许可开源，API 和格式尚未稳定。