VeloxQuant-MLX 发布：Apple Silicon 上最高 16 倍压缩 mlx_lm 模型的 KV cache

rajveer43 在 GitHub 发布 VeloxQuant-MLX，可在 Apple Silicon 上把任意 mlx_lm 模型的 KV cache 压缩至最多 16 倍更小、质量接近无损，只需三行代码。项目内置 43 种来自已发表论文的压缩方法，统一 API 切换，热路径用手工 Metal 内核（quantize 最快 14.7 倍加速），在 12 个生产模型上验证，并提供 MIT 许可、Web 控制面板和多语言客户端 SDK。README 同时说明压缩比是位宽核算而非实测 RSS，多数方法在默认服务路径仍内部存储 fp16，仅 eviction/merging 类方法当前能真正降低常驻内存。