saragossa 发布纯 Rust Metal 推理引擎，支持 LLM、STT 与 TTS

saragossa 是一个面向 Apple Silicon 的纯 Rust Metal 推理引擎，不使用 Python、MLX 或 CoreML，单个二进制即可跑 LLM、语音转文字与文字转语音，并提供 OpenAI 兼容的 HTTP 服务。作者在 M5 Max 上测得 35B-A3B 4bit 贪心解码 145.7 tok/s，32k 上下文下为 89.8 tok/s，并给出 u2 到 u8 量化在 27B 稠密模型上的显存占用、吞吐与 KL 质量对比。引擎还包含按 256 token 分块的预热前缀缓存、预测式 OOM 保护与最多两个模型的 LRU 池，可通过 Homebrew 或 cargo 安装。