lumen-rs 发布 Apple Silicon 上的 Rust 进程内 LLM 推理服务器

rabbitson87/lumen-rs 是一个面向 Apple Silicon 的实验性 Rust 进程内 LLM 推理服务器，提供 OpenAI 兼容 HTTP 端点、自定义 Metal kernel 与 MLX 量化权重，以单一二进制运行，无需 Python 子进程或 PyO3。目前验证了 Qwen3-Embedding-0.6B（MLX 8-bit）的 /v1/embeddings 与 Gemma 4 26B-A4B MoE 的 /v1/chat/completions，并提供 Standard、Quality、Flagship-KR 三档自定义 AWQ + imatrix 量化。