saragossa 发布纯 Rust Metal 推理引擎
先了解这件事
azerozero 发布 saragossa，一个面向 Apple Silicon 的纯 Rust Metal 推理引擎，不使用 Python、MLX 或 CoreML，单个二进制即可运行 LLM、语音转文字与文字转语音，并提供 OpenAI 兼容的 HTTP 服务。作者称在 M5 Max 上测得 35B-A3B 4bit 贪心解码 145.7 tok/s，32k 上下文下为 89.8 tok/s。 使用需 Apple Silicon 与 Metal Toolchain（首次启动用它编译 GPU kernel）；服务默认走 Unix socket，改用 TCP loopback 需 bearer 密钥。json_schema 模式返回 501，min_p、presence_penalty、frequency_penalty、repetition_penalty 尚未实现，只接受中性值，否则返回 HTTP 400。引擎含按 256 token 分块的预热前缀缓存、预测式 OOM 保护与最多两个模型的 LRU 池，可通过 Homebrew 或 cargo 安装。
AI 根据报道生成 · 54 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- GitHub · 去对齐工具与仓库精选saragossa 发布纯 Rust Metal 推理引擎，支持 LLM、STT 与 TTS
saragossa 是一个面向 Apple Silicon 的纯 Rust Metal 推理引擎，不使用 Python、MLX 或 CoreML，单个二进制即可跑 LLM、语音转文字与文字转语音，并提供 OpenAI 兼容的 HTTP 服务。作者在 M5 Max 上测得 35B-A3B 4bit 贪心解码 145.7 tok/s，32k 上下文下为 89.8 tok/s，并给出 u2 到 u8 量化在 27B 稠密模型上的显存占用、吞吐与 KL 质量对比。引擎还包含按 256 token 分块的预热前缀缓存、预测式 OOM 保护与最多两个模型的 LRU 池，可通过 Homebrew 或 cargo 安装。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。