open_rknpu2_lm_infer:绕过 Rockchip 专有库的 RK3588 NPU 推理引擎,Qwen3.5-4B 达约 10 tok/s
作者发布 open_rknpu2_lm_infer,一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎,上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码,提供终端聊天和 OpenAI 兼容 API(含流式、工具调用、前缀缓存),并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比,512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s,解码 10.61 tok/s 对 5.54 tok/s,约 2 倍速度。
推荐理由:作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比,数据可直接用于评估本地部署收益。