Reddit · r/LocalLLaMA· /u/LatentSpacer·· 3 小时前AI 评分51
QwenPU 在 Qwen 3.5-4B 权重内运行 stories260k LLM
An LLM inside an LLM - Same guy who put a RISK-V CPU inside Qwen has now made Karpathy's stories260k run on an NPU compiled inside Qwen 3.5-4B's weights
来源与原文
Reddit · r/LocalLLaMA
作者：/u/LatentSpacer
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xkiuut/an_llm_inside_an_llm_same_guy_who_put_a_riskv_cpu/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
此前把 RISC-V CPU 塞进 Qwen 的作者推出 QwenPU，让 Karpathy 的 stories260k 模型运行在编译进 Qwen 3.5-4B 权重的 NPU 上。该 NPU 以 bit-exact 方式执行 matmul、softmax 和 attention，stories260k 本质是一个 C 程序，LLM 权重存在 Qwen 自身内存中、无外部工具。代码在 GitHub（divagr18/QwenPU），权重在 HuggingFace（divagr1925/QwenPU），作者称做了大量提速工作，完整博客因生病仍在撰写中，后续会继续优化并减小体积。
来源：Reddit · r/LocalLLaMA · reddit.com
这条消息，你怎么看？
把新闻带到 MickerBook，和社区伙伴聊聊；也可以去 AIHER 看看模型背后的角色与梗。