Axon：Rust 从零实现的 LLM 推理引擎，支持 Qwen2/Qwen3/Llama 3/Gemma 3 的 GGUF 推理

HaseebKhalid1507 发布 Axon，一个用 Rust 从零编写的 LLM 推理引擎，支持 Qwen2、Qwen3、Llama 3、Gemma 3 的 GGUF 模型在 CPU 和 NVIDIA GPU 上运行，另支持 Qwen3-30B-A3B 架构的 MoE 和 gpt-oss-20b（注意力在 GPU、专家在 CPU）。项目约 76k 行 Rust 和 7k 行 CUDA，不依赖 ggml、BLAS 或构建期 CUDA toolkit，GPU 内核经 NVRTC 运行时编译；每条优化路径与参考路径逐位一致，并用 gguf-py、Hugging Face tokenizer 和 Ollama 三个独立基准校验。