Reddit · r/LocalLLaMA· /u/Flashy_Squirrel4745·· 6 天前精选AI 评分65
open_rknpu2_lm_infer：绕过 Rockchip 专有库的 RK3588 NPU 推理引擎，Qwen3.5-4B 达约 10 tok/s
I built an RK3588 NPU runtime without any proprietary inference libraries: Qwen3.5-4B at ~10 tok/s, ~2x faster than vendor SDK.
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Flashy_Squirrel4745
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xb45bq/i_built_an_rk3588_npu_runtime_without_any/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 open_rknpu2_lm_infer，一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎，上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码，提供终端聊天和 OpenAI 兼容 API（含流式、工具调用、前缀缓存），并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比，512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s，解码 10.61 tok/s 对 5.54 tok/s，约 2 倍速度。
推荐理由
作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比，数据可直接用于评估本地部署收益。
来源：Reddit · r/LocalLLaMA · reddit.com