nanoinfer：从零手写的 Qwen2.5-0.5B 推理引擎开源

SpookyJumpyBeans 在 GitHub 发布 nanoinfer，一个从零编写的 LLM 推理引擎，目标模型为 Qwen2.5-0.5B-Instruct，直接加载原始 .safetensors，运行时仅依赖 numpy，tokenizer、前向传播、KV cache、采样和量化均为自行实现。分八个阶段对照 transformers 和 llama.cpp 逐项验证，包括 KV cache 带来 3.5 倍加速、INT8 量化仅 +0.17% 困惑度、Rust AVX2 内核比 OpenBLAS 快 22%，以及 f32 解码与 llama.cpp 基本持平；并配有可视化页面展示每步候选 token 和注意力。