QwenPU:把 stories260k 编译进 Qwen 3.5-4B 权重内的 NPU 运行
热点事件持续更新
QwenPU:把 stories260k 编译进 Qwen 3.5-4B 权重内的 NPU 运行
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
此前把 RISC-V CPU 塞进 Qwen 权重的作者推出 QwenPU,将 Karpathy 的 stories260k 模型运行在编译进 Qwen 3.5-4B 权重的 NPU 上,代码与权重已在 GitHub 和 HuggingFace 开源。 该 NPU 以 bit-exact 方式执行 matmul、softmax 和 attention,stories260k 本质是一个 C 程序;LLM 权重存放在 Qwen 自身内存中,不依赖外部工具。作者称做了大量提速工作,完整博客尚未写完,后续将继续优化并减小体积。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 03:18
QwenPU 在 Qwen 3.5-4B 权重内运行 stories260k LLM报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- Reddit · r/LocalLLaMAQwenPU 在 Qwen 3.5-4B 权重内运行 stories260k LLM
此前把 RISC-V CPU 塞进 Qwen 的作者推出 QwenPU,让 Karpathy 的 stories260k 模型运行在编译进 Qwen 3.5-4B 权重的 NPU 上。该 NPU 以 bit-exact 方式执行 matmul、softmax 和 attention,stories260k 本质是一个 C 程序,LLM 权重存在 Qwen 自身内存中、无外部工具。代码在 GitHub(divagr18/QwenPU),权重在 HuggingFace(divagr1925/QwenPU),作者称做了大量提速工作,完整博客因生病仍在撰写中,后续会继续优化并减小体积。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。