ANEDVD 开源：用 Zig 绕过 CoreML 直接在 Apple Neural Engine 上跑 LLM 推理

GitHub 项目 ANEDVD 用 Zig 实现了不依赖 CoreML 的 Apple Neural Engine 大语言模型推理，通过私有 AppleNeuralEngine.framework 编译自生成的 MIL 程序，并用 IOSurface 做零拷贝张量 I/O。它支持 GGUF 和 HuggingFace safetensors 模型，提供 OpenAI 与 Anthropic 兼容的 HTTP API 和内置 WebUI；在 A18 Pro 上 SmolLM2-135M Q8_0 实测 prefill 400 tok/s、decode 31.7 tok/s，Qwen2.5-0.5B decode 17.4 tok/s。