MeKaustubh07 开源从零编写的 Metal 推理引擎，在 8GB MacBook 上跑 Qwen3.5-2B INT4

MeKaustubh07 在 GitHub 开源了一个从第一性原理用 Python 编写的 LLM 推理引擎，预填充用 PyTorch GEMM、解码用手写 Metal kernel，在 Apple M2 8GB 上以 INT4 通过 OpenAI 兼容 API 服务 Qwen3.5-2B，支持连续批处理、paged KV cache 和打包分块预填充。基准显示单流解码 50 tok/s、batch-8 聚合解码 116 tok/s、HTTP 8 客户端 94 tok/s（TTFT p50 0.84 秒），对比 llama.cpp Q4_1 与 MLX-LM 4-bit，并与 HF transformers 校验精度（INT4 KL 0.045）。