lumen-rs 发布 Apple Silicon Rust 推理服务器
先了解这件事
rabbitson87/lumen-rs 发布了一个面向 Apple Silicon 的实验性 Rust 进程内 LLM 推理服务器，以单一二进制运行，无需 Python 子进程或 PyO3，并提供 OpenAI 兼容 HTTP 端点、自定义 Metal kernel 与 MLX 量化权重。项目称目前验证了 Qwen3-Embedding-0.6B（MLX 8-bit）的 /v1/embeddings 和 Gemma 4 26B-A4B MoE 的 /v1/chat/completions，并提供 Standard、Quality、Flagship-KR 三档自定义 AWQ + imatrix 量化。 项目状态为 alpha/实验性，仅支持 Apple Silicon；若绑定到非 loopback 地址，API 会暴露到网络，需先设置 LUMEN_API_KEY。
AI 根据报道生成 · 9 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选lumen-rs 发布 Apple Silicon 上的 Rust 进程内 LLM 推理服务器
rabbitson87/lumen-rs 是一个面向 Apple Silicon 的实验性 Rust 进程内 LLM 推理服务器，提供 OpenAI 兼容 HTTP 端点、自定义 Metal kernel 与 MLX 量化权重，以单一二进制运行，无需 Python 子进程或 PyO3。目前验证了 Qwen3-Embedding-0.6B（MLX 8-bit）的 /v1/embeddings 与 Gemma 4 26B-A4B MoE 的 /v1/chat/completions，并提供 Standard、Quality、Flagship-KR 三档自定义 AWQ + imatrix 量化。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月7日 10:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。