llm-ferry 开源：把一台 Mac 变成局域网私有 AI 网关

sblattj 开源了 llm-ferry（MIT 许可），将一台 Mac 的本地 GPU（MLX 推理）与云 API 密钥聚合为一个 OpenAI 兼容端点，供局域网内所有设备共享，密钥只留在主机上。单条命令即可完成客户端接入，支持八条命名车道与严格回退链、Claude Pro/Max 订阅 OAuth 车道、每设备可撤销密钥与用量限额、模型和文件跨机传输及正向代理。在 128 GB M5 Max 的 121k-token 智能体会话中，KV-cache 调优将峰值 GPU 占用从 97 GB 降至 56 GB，解码快约 60%。本地 MLX 推理仅支持 macOS Apple Silicon，Linux 上自动降级为纯云模式。