跳到正文
更多
热点事件持续更新

QwenPU:把 stories260k 编译进 Qwen 3.5-4B 权重内的 NPU 运行

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

此前把 RISC-V CPU 塞进 Qwen 权重的作者推出 QwenPU,将 Karpathy 的 stories260k 模型运行在编译进 Qwen 3.5-4B 权重的 NPU 上,代码与权重已在 GitHub 和 HuggingFace 开源。 该 NPU 以 bit-exact 方式执行 matmul、softmax 和 attention,stories260k 本质是一个 C 程序;LLM 权重存放在 Qwen 自身内存中,不依赖外部工具。作者称做了大量提速工作,完整博客尚未写完,后续将继续优化并减小体积。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月1日
  1. Reddit · r/LocalLLaMA
    QwenPU 在 Qwen 3.5-4B 权重内运行 stories260k LLM

    此前把 RISC-V CPU 塞进 Qwen 的作者推出 QwenPU,让 Karpathy 的 stories260k 模型运行在编译进 Qwen 3.5-4B 权重的 NPU 上。该 NPU 以 bit-exact 方式执行 matmul、softmax 和 attention,stories260k 本质是一个 C 程序,LLM 权重存在 Qwen 自身内存中、无外部工具。代码在 GitHub(divagr18/QwenPU),权重在 HuggingFace(divagr1925/QwenPU),作者称做了大量提速工作,完整博客因生病仍在撰写中,后续会继续优化并减小体积。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。